/ 5.16/ §£ ,r)
-du*(e)
"*■ (3£_- i = 1 / • • • / m -re
E> -ban egyenletesen. Itt u*(k) az optimális xX(&) megoldás hoz tartozó multiplikátorokat jelölik
i
H I . A MULTIPLIKATOR MQPSZER
1. Elméleti összefoglalás.
A következőkben a
feladattal fogunk foglalkozni. Feltesszük, hogy f, hu két
szer folytonosan differenciálható függvények. A feladat egy izolált lokális megoldását jelölje x .
A négyzetes büntetőfüggvény alkalmazása esetén rosszul kon
dicionált feladatok egy sorozatát kell megoldanunk. A rosz- szul kondicionáltság az r paraméter csökkentésénél jelent
kezik. Hestenes megmutatta, hogy r csökkentése elkerülhető, ha egy más segédfüggvényt épitünk fel, az un. bővitett Lag- range függvényt. Hestenes módszerét szokás multiplikátor m ó d szernek is nevezni. Ugyanezt a módszert javasolta Powell, kissé más felfogásban. A multiplikátor módszer azóta is in- tenziv vizsgálat tárgya.
A feladat vizsgálatának egy természetes útja az optimalitás elsőrendű szükséges feltételéből indul ki. Ennek alakja a
( c
) feladatra a következő:Itt Wj -gal a Lagrange - szorzókat jelöltük. Az /1.1/ fel
tételrendszer n+p nemlineáris egyenletet tartalmaz és ugyanennyi az ismeretlenek száma is. Nemlineáris egyenlet-»
rendszerek megoldására ismerünk jól kidolgozott módszereket.
Ezek alkalmazhatóságának egyik alapfeltétele, hogy az egyen
letrendszer Jacobi-mátrixa az (xX ,wx) pontban ne legyen szinguláris. Ez elméletileg is érdekes kérdés, ezért a k ö vetkező tételben erre adunk egy elégséges feltételt.
59
24. Tétel. Legyen xx a (c) feladat egy izolált lokális megoldása. A Vh.(xx) vektorok legyenek lineárisan függet-
^ x
lenek és teljesüljön x -ban az optimalitás másodrendű elég séges feltétele. Ekkor léteznek olyan Lagrange-szorzók, hogy teljesül az /1 .1 / feltételrendszer és az /1 .1 / egyen letrendszer Jacobi-mátrixa az (xx ,wx ) pontban nem-szingulá
ris.
Bizonyítás: A 3. tétel alapján tudjuk, hogy léteznek olyan Wj Lagrange-szorzók, amelyekkel teljesül az /1.1/ feltétel- rendszer. A (c) feladat Lagrange-függvényét jelölje l(x ,w) azaz
p .
/1. 2 / l(x ,w) = f(x) + Y. w.h.(x) j=l 3 3
A h ( xx) vektorokból alkotott mátrixot jelölje h (xx ) , azaz j
/1.3 / h(xX ) = ( Vh^( xX) , . . . , Vh^( xX ) ).
Az /1.1/ egyenletrendszer Jacobi-mátrixa a következő alakú
A c = V ^ l(xX ,wX ) és az A = h (xx) mátrixokra teljesül nek a 8 . tétel feltételei, ezért a 8 . tétel szerint G n e m szinguláris, amit bizonyítani akartunk.
A most bizonyított tétel alapján megpróbálhatjuk az /1.1/
egyenletrendszert a Newton-módszerrel megoldani. Ehhez azon
ban egy (n+p) x(n+p) méretű mátrixot kell invertálni, ami nehézkes lehet. Ez az egyik oka annak, hogy számos speciális módszert fejlesztettek ki a (c) feladat ill, az azzal ekvi valens /1 .1 / egyenletrendszer megoldására.
Definiáljuk a bővitett Lagrange-függvényt a Lagrange-szorzók, amelyekkel fennáll a
Vx l(xX ,wX ) = O feltétel. Innen kapjuk, hogy
V q(xX
feltétel. Mégegyszer differenciálva x szerint és figyelem-bevéve, hogy hj( xx) = 0 kapjuk a
A jobboldalon álló kifejezésre alkalmazni fogjuk a Finsler-lemmát. Tekintsük a
/1.8 / V ' h . ( xX)
X J v ' . v = 0 j = 1, . . . , p
- 61
feltételek által meghatározott alteret. A /1.9 / C = V 2 l(x*,w*)
xx
mátrix pozitiv definit az /1 .8 / feltételekkel meghatározott altéren, mivel teljesül az optimalitás másodrendű elégséges feltétele. Megmutatjuk, hogy a
/1.10/ D = l V h.(xx ) V'h.íx*) j=l x 1 x J
mátrixra teljesülnek a Finsler-lemmában megkívánt feltételek.
Világos, hogy ha v kielégíti az /1.8 / feltételeket, akkor Dv = 0. Másrészt legyen y az /1.8/ feltételek által m e g határozott altér kiegészítő alterének egy nem-nulla vektora:
/i.ii/ y = ^ :á . V h (x*) f 0 j=l 3 3
Meg kell mutatnunk, hogy y'Dy pozitiv. Tegyük fel az ellen
kezőjét. Ekkor az
/l. 12/ y'Dy = í (y' V h. (xx ))2 = 0 j=l x 3
egyenlőségből kapjuk, hogy
/I-13/ y' V h.(xx ) = C j = 1, ... p -re.
X J
Beszorozva a j-edik egyenlet .-vei és összeadva j = 1 , ..., p -re az
/i-14/ y'y = o
eredményt kapjuk, ami ellentmondás. Ezzel beláttuk, hogy a Finsler-lemma valamennyi feltétele teljesül. A Finsler-lemma állitása szerint az F = C + kD mátrix pozitiv definit, ha k elég nagy. Ez pedig éppen a bizonyítandó állitás. Ezzel a 25. tételt bebizonyítottuk.
A tételt a következőképpen értékelhetjük. A 3. tétel szerint
2. A multiplikátormódszer levezetése.
A multiplikátormódszer alapgondolata az, hogy ha w ismert lenne, akkor x -ot egyetlen feltételnélküli minimalizálás- sál meg tudjuk határozni. Sajnos w közvetlenül nem ismert, ezért azt iterativ utón kell meghatározni.
Ha w a w multiplikátor egy elég jo közelítése, akkor a /2.1/ V xQ(x,w,k) = 0
egyenletnek xx egy kis környezetében egyetlen x(w) megol
dása van. Ez következik az implicit függvényekre vonatkozó tételekből, mivel V 2 Q ( x x ,wx ,k) nem szinguláris. Az f,h.
függvények kétszer folytonosan differenciálhatok, ezért a V 2 Q(x(w),w,k) mátrix is pozitiv definit, hacsak w elég
xx x r \
közel van w -hoz. Ezért x^wj megoldása a
12.21 min Q(x,w,k)
x
feltételnélküli minimalizálási problémának is. Ez az észre
vétel döntő abból a szempontból, hogy x(w) -t csupán az f,hm függvényértékek alapján kiszámíthatjuk.
A w vektort az jellemzi, hogy a /2 .3/ hm (x(w)) = 0
egyenlőség teljesül. Valóban, ha teljesül az /2.3/ egyenlő
ség, akkor xK=x(wx ) megengedett pont, továbbá kielégíti a Lagrange-féle szükséges feltételt is:
VxL(xx ,wie) = VxQ(xX ,wX ) = 0 .
A w vektor meghatározásának feladatát a /2.3 / nemline
áris egyenletrendszer megoldására vezettük vissza. Sajnos,
- 63
határozására alkalmazhatók a korszerű függvényminimalizá
lási módszerek.
A 26. Tétel bizonyításához számítsuk ki az x(w) függvény parciális deriváltjait. A
V x Q ( x ( w ) , w , k ) = 0 egyenlet w szerinti differenciálásával a
V2 Q — + V 2 Q = 0
jelölés felhasználásával kapjuk, hogy /2-7/ = -( ’ Le ö ) ' 1 H A jobboldalt értelemszerűen
t é k elni.
a w, x(w) pontban kell
kiér-Számítsuk most ki a ^ ( w ) függvény deriváltjait a w=wx pontban:
/2.8/ - V Q 7-^ + V Q = 0 ,
w ' x 6 w w
mivel
V Q = 0 és V Q = h(xíwX)) = 0.
x w ' v ' '
második deriváltakra pedig a
/ 2.9/ + 2 V 6 x
6 w
kifejezést kapjuk. A deriválásból adódó egyéb tagok 0-val egyenlők.
A 12.1I összefüggés felhasználásával azt kapjuk, hogy / 2.10 / V 2 V = - H ' ( V 2 Q)-1H ,
ww V XX '
ez a mátrix pedig negativ definit.
Visszatérve a
/ 2.11 / h(^ x(w)) = 0
egyenlet numerikus megoldására megmutatjuk, hogy a Newton
módszernek igen jó approximációja a / 2.12/ áw = 2jch(x(w))
iterációval definiált módszer. Ezen az iteráción alapuló megoldást nevezzük multiplikatormódszernek.
A /2.12/ iteráció levezetéséhez alkalmazzuk előbb a Newton-módszert a /2.11/ egyenlet megoldására. A balol
dal Jacobi-mátrixara a
- 65
12.13/ G = - H ' ( V 2 q ) 1 H
1 1 \ xx '
mátrixot kapjuk.
A /2.13/ egyenlőség jobboldalán a
/2.14/ (2k)"1 VJXQ = ^ + H H ' .
átalakítást végezzük. Itt az
/ 2.15/ 6 = (2k )_1 V ^ xL
mátrix elemei o(k ^") nagyságrendűek. így a /2.16/ 2kG = - H' ( & + H H ,)_1 H
összefüggést kapjuk.
A H mátrixra alkalmazzunk egy Householder triangularizá- ciót:
12.111
ahol R felsöháromszög alakú nemszinguláris mátrix, Q pedig ortogonális,
így a
/2.18/ 2kG = - R'(e/ + RR')_1R = - I + 0 ( k _1) összefüggés adódik, ahol I az egységmátrix. így kapjuk a következő, Powelltől származó tételt:
27. Tétel. A 24. Tétel feltételei mellett ha w elég közel van -hoz és k > k , akkor
o
12.19/ - G , - 6 / 2 k | <C c k ^ st st
ahol c konstans, ő pedig a Kronecker-szimbólumot je levezetéséval most már megalapoztuk a /2.12/ multiplikátor- módszert.
Összefoglalva a módszer a következő
k+1
A multiplikátormódszer alkalmazásánál kérdéses az első w q
közelités megválasztása. Ehhez nyújthat segítséget egy Fletcher által javasolt módszer. A kiindulópontunk az opti
- 67
12.22/ w * = -(h'(x*)h(x*)) _1 H'(x*) 7f(x*) .
A jobboldalon álló kifejezés értelmezve van bármely x -hoz közeleső x pontra is. Tehát a multiplikátorok egy jó b e c s lését kapjuk a
/ 2.23/ w(x) = -(h '(x ) H (x )) 1 H'(x) Vf(x)
képlet alapján. Itt w(x) egy p dimenziós vektor, amely
nek komponenseit w-^(x), . .., w (x) -szel jelöljük.
Fletcher továbbment okoskodásaiban és bebizonyitotta a k ö vetkező tételt:
28. Tétel: A 24. Tétel feltételeinek teljesülése mellett az
p
U(x ) = f(x) + £ w (x)h.(x) i=l 1 1
Ifi ' y
függvénynek az x pont stacionárius pontja. Továbbá ha k elég nagy konstans, akkor x a
p p o / \
v(x) = f(x) + I w.(x)h.(x) + k £ h \ x )
i=l 1 1 i=l
függvénynek szigorú lokális minimumhelye.
3. A bovitett Lagrange-függvény további vizsgálata.
A multiplikátormódszert Powell egy más formában vezette le.
A bovitett Lagrange-függvény helyett 6 a
p ~
/3.1 / Q(x,c,k) = f(x) + k I (h.(x)-c.) j =1 J J
segédfüggvényt vezette be. A különbség valójában csak formai, a
/3.2/ w . = -2 ke .
3 1
választással a /3.1/ függvény bovitett Lagrange-függvény alakjában is irható. Mégis a Powell által adott alak általá
nosításra alkalmasabb.
A multiplikátormódszert egyenlőtlenségfeltételek esetére is általánosítani akarjuk.
Tekintsük az (a) feladatot. A közönséges büntetőfüggvény helyett vegyük a következő segédfüggvényt:
/ 3.3 / Q( x , c , k) = f(x) + k ^ ( g . (x ) - c.)2
i—1 1 1
Itt a_ az a szám negativ részét jelenti. Ezt a segédfügg
vényt Rockafellar illetve Fletcher vezették be. Az optimum- pontot x , a megfelelő Lagrange-szorzókat u^ jelöli.
A cx vektort a
/3.4/ 2 kcX = uX
i í
egyenletekkel definiáljuk. Fletcher bebizonyította a követ
kező tételt. /ld [lo] /
- 69
29. Tétel. Az (a) feladatra teljesüljenek a 13. Tétel feltételei. Ekkor létezik olyan kQ szám, hogy k > kQ e s e tén az x* megoldás a Q(x,cx',k) függvény szigorú lokális minimuma.
A 30. és a 31. Tételt nyomdatechnikai okokból mellőzzük.
4. A multiplikátormódszer alkalmazásának numerikus kérdései.
Tegyük fel, hogy az f,h^ függvények második deriváltjai könnyen kiszámithatók. Ekkor az x(w) meghatározása történ
het Newton-módszerrel. Ugyanigy a T(w) függvény maximalizá
lása is történhet Newton-módszerrel. Számitsuk ki a ^(w) a Newton-módszert a /2.3/ nemlineáris egyenletrendszerre a l kalmazzuk. Ezeket a képleteket megtaláljuk Fletcher dolgoza
tában is.
Az x=x(w) felületdarab linearizálásával kapjuk, hogy az uj x(w+őw) értékeket közelítőleg a
/ 4.4 / ő x (1^ = őw = - F_1h(f- 1Hf) _1 h
korrekcióval kell kiszámítani. Megjegyezzük, hogy ha az /1 -1 / n+p dimenziós nemlineáris egyenletrendszerre alkalmazzuk a Newton-módszert az (x(w),w) pontban, akkor a /4.3/ 14.41 korrekciókat kapjuk.
71
A Függelékben leirt /1.6/ /1.7/ dekompoziciós eljárást fogjuk alkalmazni. Az x(w) vektor meghatározására a Newton-módszert alkalmazzuk, tehát az iterációt a
/ 4.5 / ő x ^ = - ( v 2 q)_ 1 (v q ) = - F_1V Q
' X X X X
képlet definiálja. A jobboldalt itt egy (x,w) pontban értékeljük ki . Az x vektor korrekcióját végül a
/ 4.6 / Őx = ő x ^ + ő x ^
képlettel adjuk meg.A Függelék 36. tétele alapján könnyen igazolható a következő.
32. Tétel. A /4.3/ /4.6/ korrekciós formulákkal definiált iterativ eljárás konvergens.
Most vizsgáljuk meg azt az esetet, amikor csak az f ,h^
függvények és első deriváltjaik számithatók ki. A multipli kátormódszer szerint a w korrekciójára a
/ 4.7/ őw = 2kh(x)
képletet javasoljuk. Vegyük észere, hogy a jobboldalon x nem szükségképpen azonos x(w) -vei. A őx korrekciót a Függelékben közölt /1.6/ /1.7/ eljárás alapján két r é s z ből tesszük össze. Egyrészt a
/4.8 / V ű(x,w,k) = const
Ljapunov - felülethez megszerkesztjük a őw elmozdulásnak megfelelő érintővektort. Ez nyilván
/ 4.9 / ő x ^ = - ( V 2 ö)'1 (v 2 q) ő w = -2kF_1Hh(x) .
xx xw
Másrészt a V q (x (w) w,k)= 0 egyenlet megoldásához közele dünk, ha a
őx ^ = - GV Q / 4.10/ x
korrekciót alkalmazzuk, ahol G a ( v 2 Q ) 1 mátrix egy jó
XX
/mindenesetre pozitiv definit/ közelítése.
Végül definiáljuk a
/ 4.11 / őx = <Sx ^
korrekciót.
Összefoglalva a
őw = 2kh(x)
I A .121 őx = - 2 k F _1Hh(x) - GQ X
korrekciót kapjuk. A Függelékben közölt 36. Tétel alapján a /4.12/ képlet alapján végzett iterativ eljárás konvergens.
Sajnos /4.1 2 /-ben a második deriváltakat tartalmazó F mát
rix inverze is szerepel. Ezért a következő módosítást javasol
juk.
/ 4.13/ őw = 2kh(x)
őx = -2kGHh(x) - GQ
X
Igaz a következő
33. Tétel. A /4.13/ korrekciós képlettel definiált itera
tiv eljárás konvergens.
Bizonyítás. Jelöljük az /4.12/ illetve /4.13/ képletek jobboldalait s(z) -vei, illetve t(z) -vei. Könnyű látni,
X f X X \
hogy z = V x ,w J mind a
mind pedig a
z = sV z
z t V z
73
egyenletnek egyensúlyi pontja. Mivel pedig z az első e g y e n letnek stabil egyensúlyi pontja és fennáll a
/ 4.14/ llt(z)||<; ( l + b ) | | s ( z ) | l & >0
egyenlőtlenség, hacsak G elegendő jó közelítése F 1 -nek, azért zx /4.13/ -nek is stabil egyensúlyi pontja.
A /4.13/ -iterációs módszer alkalmazásához csak első deri
váltakra van szükségünk. A módszer approximációja a Newton
módszernek, amelyet a
h(x(wl) = 0
egyenletre alkalmaznánk, de a -GV Q tag feltehetően javit- ja a konvergencia tulajdonságokat pl. abban az értelemben, hogy nagyobb a konvergencia-tartomány. Ezek a kérdések azon
ban még tisztázatlanok.
Ha a feladatban szereplő függvények deriváltjai könnyen k i számíthatok, akkor a G becslés javítására használhatjuk a Broyden-féle módszereket, vagy a hagyományosabb Davidon- Fletcher-Powell módszert. Az utóbbi módszernek egy derivált
mentes változatát is kidolgozta Stewart, igy a multipliká- tormódszer olyankor is jól alkalmazható, amikor csupán a feladatban szereplő függvények értékei számíthatók ki köny- nyen.
IV. Szekvenciális módszerek alkalmazása a sztohasztikus progra- mozásban
1. A sztohasztikus approximáció néhány módszere.
Ebben a fejezetben azt vizsgáljuk meg, hogyan kell a szék venciális módszereket hatékonyan alkalmazni sztohasztikus programozási feladatok megoldására. A sztohasztikus prog
ramozás modelljeinek jó összefoglalását tartalmazza Prékopa András munkája, /ld ^2 8^ /
A sztohasztikus programozás feladataiban a feltételi függ vények ill.a célfüggvény igen bonyolult integrálkifejezé
seket tartalmaznak. Ezeknek Monte-Carlo módszerrel törté
nő integrálása igen időigényes, más numerikus integrálási eljárás pedig a magas dimenziószám miatt nem alkalmazható A Monte Carlo-módszer és egy nemlineáris programozási mód szer egyidejű alkalmazása ezért célszerű.
így egy un. sztohasztikus approximációs eljárást kapunk.
A következőkben összefoglaljuk a sztohasztikus approxi
máció elméletének főbb eredményeit.
Az első klasszikus eredmény a Robbins-Monroe eljárás.
Az eljárás célja egy
/1.1/ f(x) = 0
nemlineáris egyenlet megoldása, ahol f(x) egy regresz- sziós függvény, azaz
/1.2 / f (x) = M (Y (x) )
ahol y (x ) egy realizálható valószinüségi változó, M pedig a zárójelben álló kifejezés várható értékét jelöli.
A Robbins-Monroe eljárás esetén x skalárváltozó kell, hogy legyen. Később Blum többdimenziós eljárásokat dolgo
zott ki. Az egyik legáltalánosabb konstrukció Sz.A. Ivan- kovtól származik, ezt fogjuk ismertetni.
75
Először egy determinisztikus eljárásra vonatkozó eredményt mutatunk b e . teljesülnek a következő feltételek: Az r(x) vektorfügg
vény folytonos x C R esetén, ahol R'^egy kompakt halmaz, és r(x) = 0 akkor és csak akkor, ha x = xX . Továbbá létezik olyan folytonosan differenciálható nemnegativ k o n vex ü(x) függvény, melyre u(x) = 0 akkor és csak akkor,
Megjegyezzük, hogy a tételt Ivankov általánosabb alakban fogalmazza meg: r(x) többértékü függvény is lehet.
va-11.11 X , = X + CX £ (x ) n+1 n n s ^ n' eljárást. Erre igaz a következő
35. Tétel. Tegyük fel, hogy teljesülnek a 34. tétel fel
tételei. Tegyük fel, továbbá, hogy a valószinüségi változók függetlenek, szórásaik korlátosak:
/1.8/ ° 2 ( ^ J < K valamilyen K-val, és
/1 * 9 / < » .
Ekkor az xn sorozat egy valószinüséggel tart xX -hoz.
A 35. tétel alapján fogunk a következő pontban sztohasz- tikus programozási feladatokat megoldani. Az eljárások alapja a következő lesz: alkalmazzunk egy determinisz
tikus eljárást, amely a 34. tétel feltételeinek eleget tesz. Az r(x) vektorra Monte-Carlo módszerrel adunk tor- zitatlan becslést, s ennek felhasználásával alkalmazzuk az 11.11 sztohasztikus eljárást. Az Cxn lépéshossz szoká
sos választása CX = i . n n
Például az /1.1/ feladat megoldására az
xn+1 = x - — f(x ) n n v n' determinisztkus eljárás alapján az
/1.10/
sztohasztikus approximációs eljárást szerkeszthetjük.
Ez a Robbins-Monroe eljárás.
Ha a determinisztikus feladat függvényminimalizálás /fel
tételnélküli vagy feltételes/ úgy az /1.3/ tipusu eljá
rásokban elsőrendű parciális deriváltak ismerete szüksé
77
ges. Deriváltmentes eljárást kaphatunk legegyszerűbben úgy, hogy a deriváltakat differenciálhányadossal helyette
sitjük. Egy ilyen eljárás sztohasztikus változata a Kiefer- Wolfowitz eljárás, amelyet csak nagy vonalakban foglalunk össze. Tekintsük a
együtthatók egy célszerű választása c c
n n%
A Kiefer-Wolfowitz eljárást 1952-ben publikálták, azóta számos hatékony deriváltmentes algoritmust dolgoztak ki.
Érdekes volna ezek sztohasztizálhatóságát megvizsgálni.
2. Veszteségfüggvényes és megbizhatósági jellegű modellek A veszteségfüggvényes modellek közös jellemzője, hogy a célfüggvény egy determinisztikus függvény és egy valószi- nüségi változó várható értékének az összege. Az utóbbi függvényt egy integrálkifejezés definiálja, amelynek egy tipikus alakja a következő:
12.1J /... / (ß-Ax)d $C$)
8>Ax
Itt ß valószinüségi változó, <J>(ß) az eloszlásfüggvénye.
Ha a /2.1/ tipusu kifejezéseket Monte-Carlo módszerrel értékeljük ki, akkor a célfüggvényre ill. a gradiensére a következő előállítást kapjuk:
12.21 f(x) = mU ( x))
Vx f(x) = m (c(x))
Itt £(x), C (x) r-től függő valószinüségi változók, amelyek véletlenszámgenerátor segítségével realizálhatók.
A feladatot a
12.21 min f(x)
/2.4/ g ± (x) > 0
alakban megfogalmazva azt vizsgáljuk, hogyan alkalmazha
tók a SUMT módszer ill. a multiplikátormódszer.
Az /2.3/ /2.4/ feladat megoldására alkalmazzuk pl. a lo
garitmikus büntetőfüggvény módszert, a segédfüggvényt je
lölje p(x,r). Vezessük be a
~ m
12.51 p(x,r) = 5(x) - r Z In g. (x) i=l
VP (x) r
m Z- ' i— 1
vgj(x) gi(x ) véletlen függvényt. Világos, hogy
/ 2.6/ M(p(x,r)) = p(x,r) és
m (v p(x))= VxP(x,r) ,
ff
79
így egy Robbins-Monroe tipusu eljárást alkalmazhatunk, melynek képlete esetünkben véletlen függvényt. Világos, hogy
/2.11/ Q(x,w,k) = MQ(x,w ,k)
ezért a ű(x,w,k) függvény x(w) minimumának a meghatá
rozására alkalmazható a Kiefer-Wolfowitz eljárás. Ha még az f(x ) célfüggvény gradiensére is van torzitatlan becs
lésünk, akkor Robbins-Monroe tipusu eljárás alkalmazható.
Ez eddig teljesen analóg a büntetőfüggvények módszerével.
A multiplikátormódszer általunk kidolgozott /4.13/ módo
sítása is sztohasztikus eljárássá fejleszthető.
Definiáljuk ugyanis a
A
12.12/ őx = - 2kGHh(x) - GQ X véletlen irányt. Világos, hogy
A
12.13/ M (őx ) = <5x
ezért a 35. tételben leirt konstrukció alkalmazható és így egy sztohasztikus eljárást kapunk.
Megbizhatósági jellegű modellek esetén egyes feltételi függvényekben szerepelnek a véletlen hatások. Egy sokat vizsgált példa a
/ 2.14 / g l(x ) = p(a x > 3 ) ~ P
feltételi függvény. Itt A egy determinisztikus mátrix, x egy döntési változó, ß véletlen vektor, p( ) a zárójelben álló esemény valószinüségét jelöli, p pedig egy előirt megbizhatósági szintet. A jobboldal Monte- Carlo módszerrel történő kiértékelése esetén a g-^(x) függvényre egy £(x) torzitatlan becslést kapunk:
/2.15/ g ^ x ) = m (?(x)) . A feladatot fogalmazzuk meg a
/ 2.16/ minf(x) 12.171 g ±(x) = 0
alakban. Célunk a g (x) feltétel kiértékelésével kapcso
latos problémák vizsgálata.
A g^(x) függvény több fontos gyakorlati eloszlás esetén logaritmikusán konkáv Prékopa András tétele alapján. így ha az f, -g
1' m függvények konvexek, akkor a lo~
t
81
garitmikus büntetőfüggvény alkalmazása konvex segédfela
datra vezet. Ez volt több gyakorlati feladat megoldásának az útja ( Id. C 5 D ) .
Sajnos a g^(x) függvény kiértékelése Monte-Carlo m ó d s z e r rel igen munkaigényes. Sztohasztikus eljárás szerkeszté
séhez pedig az lng^(x) függvényre kellene torzitatlan becslést adnunk, ami általánosságban nem látszik lehetsé
gesnek.
Ha előre tudjuk, hogy g^(x) = 0, akkor alkalmazhatunk egy r (x ) büntetőtagot. A g^(x) függvényre már kaphatunk torzitatlan becslést:
/2.18/ g^(x) = x) * C2 (x ^ 1,
ahol Cj_(x), a £^x ' valószinüségi változó két füg
getlen realizációját jelöli. Ugyanakkor azonban nincs g a r a n cia arra, hogy a logaritmikus és négyzetes tagokat is tartal
mazó vegyes büntetőfüggvény konvex. Úgy tűnik tehát, hogy egy jó kezdeti közelités kiszámítása nehéz feladat.
Tegyük fel azonban, hogy az aktiv indexeket már sikerült kijelölni és adaptáljuk a multiplikátormódszert. Legyen a feladat
/2.19/ min f(x)
/2.20/ hj(x) = 0 j = 1, ..., p . Itt is mint előbb h^(x) = g^(x) j=l, ..., p-re .
A bővitett Lagrange-függvényt jelölje Q(x,w,k) és vezes
sük be a
/2.21/ Q (x,w,k) = f(x) + I w.h.(x) + k E h^(x) + j=2 3 3 j=2 3 Wi^i(x) + k ^ 1 ( x ) í>2^x )
véletlen függvényt. Világos, hogy 12.221 M(ö(x,w,k)) = ű(x,w,k) .
így o(x,w,k) x-szerinti x(w) minimumának a meghatáro
zása történhet a Kiefer-Wolfwitz módszerrel.
Tegyük fel, hogy a g^(x) függvény gradiensére is van torzitatlan becslésünk:
/2.23/ Vg^f x) = Vh-j^ x ) = m (c(x )) .
Ez a helyzet, ha g^( x ) a / 2 -14/ formulával van defi
niálva és a parciális deriváltakat adó integrálkifejezése- ket Monte-Carlo módszerrel értékeljük ki .
Ekkor a
/ 2.24/ V Q = V f(x) + E w.V h. + 2k E h.(x)\/ h.(x) + x x j=2 2 x 2 j=2 3 X 3
+ w-^Cx) + 2k£1(x)c(x)
véletlen vektor a V Q vektor torzitatlan becslése, fel
téve, hogy a £^(x), ?(x) valószinüségi változók függet
lenek :
V Q / 2.25/ x
83
Ekkor pedig a Robbins-Monroe tipusu eljárás alkalmazható a V^Q(x,w,k) = 0 egyenletrendszer megoldására.
Most megmutatjuk, hogy a III. fejezetbeli /4.13/ eljárás sztohasztikus változata is könnyen kapható.
Vezessük be a
/2.26/ h(x ) =(s(x),Vg2 ( x ) , ..., Vgm (x)'
mátrixot. Világos, hogy a h(x) mátrix a /IV.2.ll/-beli
h (x) mátrix torzitatlan becslése:
/2.2 7/ H (x) = m(h (x)) .
Vezessük be a
12.28/ h(x) = (f(x), h 0(x), ..., h (x))
2 p
véletlen vektort tor torzitatlan
. Ez a h(x) = (h,(x) , ..., h (x P becslése. Végül legyen
/ 2.29/ őw = 2kh(x)
/2.30 / őx = -2kGH(x)h(x)- GVQ
vek-Világos, hogy /2.31 /
és 12.321
őw = m (ő w)
6 x = M ( 6 x )
ezért a 35. tétel alapján egy sztohasztikus eljárás s z e r keszthető.
Newton-tipusu eljárások esetén lényeges nehézséget okoz a (v2 q)'1 mátrixra torzitatlan becslést adni. Egy dimenzió ' xx
esetén arról van szó, hogy olyan \p valószinüségi válto
zót keresünk, amelyre 1
m = M (ip ) ahol
m = M(?) .
Itt <f ismert /realizálható/ valószinüségi változó és ijj-t realizációi alapján kell konstruálni. Ez tudomásom sze
rint általánosságban nem megoldható feladat. Mégis lehet
séges Newton-tupusu módszer sztohasztikus változatának a kidolgozása, bár ezek gazdaságossága nem nyilvánvaló. E r re a kérdésre még visszatérünk a Függelékben.
85
V. FÜGGELÉK
1. Egy dekompoziciós eljárás.
A dolgozatban több helyen felmerült összetett eljárások egyszerűsítésének a kérdése. A szóbanforgó esetekben az algoritmus konvergenciáját Ljapunov-függvényekkel állapít
hatjuk meg. Ezért ezzel az esettel foglalkozunk általában is. Az algoritmusok folytonos alakban egy differenciál
egyenlettel irhatok le:
x(t) = x(t) ) •
Az algoritmus konvergenciája azt jelenti/ hogy egy keresett x megoldás az egyenlet stabil egyensúlyi pontja, azaz x(t) ->xX t-*°° esetén, hacsak x(o) elegendő közel van x -hoz.x
Az egyenlet jobboldalán álló kifejezésben eg y e s részeket Y(x) -szel jelölünk, és az egyenletet az
/1.1/ x = P l (x,y(x ))
alakban Írjuk át. Az y(x ) kifejezés kijelölése lehet magától értetődő, de lehet mesterkélt is. Például a New
ton-módszer alkalmazásakor az x = -f -1f egyenletben ki-
- xx x
választhatjuk az Y^xJ = f kifejezést.
xx
Vagy például egy feltételes minimalizálási feladat lehet a min f(x,y)
g ± ( x , y ) = 0 i = 1, ..., m
alakban megfogalmazva, ahol y komponenseinek a száma m.
Ha y-t mint x függvényét kifejezzük a feltételrendszer
ből , akkor a
min f(x,Y(x))
feladatot kell megoldani. /Ez az eljárás a redukált g r a diens m ó d s z e r . /
Az y(x) kifejezés kiválasztását az indokolja, hogy ennek kiértékelése csak algoritmikus utón lehetséges. A megfele
lő algoritmust jelölje
/1» 2 / y(t) = r ( x , y (t) )
Az /1.2/ differenciálegyenlet jobboldalán x paraméterként szerepel, és y(t)-*-Y(x) ha t^-°° és y(o) elég közel van
y(x) -hez. A kérdés az, hogyan lehetne az /1.1/ ill. /1.2/
egyenletekkel definiált algoritmusokat egyesiteni, hogy el
kerüljük y(x) pontos kiértékelését.
Egy lehetséges eljárás a következő: tetszőleges x,y pont esetén, amely az xX ,y(xX ) pont elég jó közelítése, defi
niáljuk a következő irányokat:
I/1.3/ P 1=rp(x,y) , r=r (x,y) , p 2 = A(x,y) p x(x,y) ahol
/1.4/ A = A(x,y) = - rxry
Az A deriváltmátrixot az /1.5/ r (x, Y (x) ) = 0
feltétel x szrinti deriválásával kapjuk.
Az algoritmust az
11.6/ x = P L(x,y)
= p2 (x'y) + r (x 'y)
/l. 7/ y
87
differenciálegyenlettel definiáljuk. A következőkben az /1.6/ /1.7/ algoritmus konvergenciájával foglalkozunk.
Vezessük be a
z = (x,u) ' p = '
jelöléseket. A Ljapunov-féle stabilitáselmélet szerint az /1.2/ differenciálegyenlet az y(x) pontban stabil, akkor és csak akkor, ha létezik egy folytonosan differenciálha
tó v(x,y) Ljapunov-függvény, amelyre
v(x, Y (x)) = 0 , v(x,y) > 0 ha y f y(x) és
r'V V < 0 ha r f 0 y
A v(x,y) függvény az y(x ) pont egy környezetében van értelmezve. Megköveteljük, hogy az erősebb
/1 • 8/ r'VyV < - £[|r || ||VyV||
egyenlőtlenség teljesüljön és azt mondjuk, hogy az /1.2/
differenciálegyenlet szigorúan stabil y (x) -ben. Ekkor V választható a
11.91 V = r'Kr
alakban, ahol K egy pozitiv definit szimmetrikus mátrix.
Az /1.8/ feltétel ekkor az
/1.10/ r'(ryK + Kry ) r < - ó||r ||2
alakban irható fel. Mivel az r irány az m-dimenziós
y-nal koordinátázott altér tetszőleges iránya lehet, azért következik, hogy az (x,y(x)) pontban az
RÍr K) V y J =
11.1 1/ r K + Kr'
y y
mátrix pozitiv definit. Ez a megfogalmazás is Ljapunovtól származik.
Folytonossági meggondolásból nyilvánvaló, hogy ha x az xX egy kis környezetében fut végig, akkor a K mátrix x -tol függetlennek is választható.
Tekintsük most a
/l.12/ z = p (Z )
egyenletet.A kiindulást képező /1.1 / egyenlettel való kap
csolata a következő:
Rögzítsünk egy c konstans vektort és tekintsük az /1.13/ r(x,y(x,c)) = c
egyenlettel definiált y(x,c) un. Ljapunov-felületet.
Az /1.1/ differenciálegyenlettel párhuzamosan tekintsük az /1.14 / x = p1(x,y(x,c))
differenciálegyenleteket.
Tegyük fel, hogy az /1.1/ differenciálegyenlet szigorúan stabil x x -ban, ekkor az /1.14/ differenciálegyenlet szin
tén szigorúan stabil valamilyen xx (c) pontban, amelyet a /1 * 15/ p 1 (xX (c) , y(x x(c), c ))= 0
egyenlet definiál, hacsak c elég közel van az O-hoz.
Az (xX (c) , y(x(c),c) pontok egy m-dimenziós felületet töltenek ki, amelynek az y(x) felülettel egyetlen közös pontja van; (x*, y(xJf)).
Az /1 -13/ egyenletből világos, hogy a P ^ P ^ P ^ ) ' vektor bármely pontban egy azon a ponton áthaladó Ljapunov-felü- letnek érintője, ezért az /1.14 / differenciálegyenlet bár
mely megoldása teljes egészében egy (x,y (x,c)) felületen
89
halad végig. Ezt a felületet tetszőleges módon /pl. az
halad végig. Ezt a felületet tetszőleges módon /pl. az