A zajos függvény esete

A szukcesszív regressziós approximációk módszerét némiképpen módosítjuk a zajos füg-gvényértékek esetére. Az eljárás egyszerűsítése céljából feltesszük, hogy az algoritmus által előállított pontsorozatot egy [L, U] intervallumra csonkoljuk, amely tartalmazza a valódi gyököt – Θ∈[L, U].

A(x−2) Feltesszük, hogy ha az SRA_S egy olyan x_k közelítő gyököt állít elő, amely kisebbL-nél (vagy nagyobbU-nál), akkor a gyök értékét a határponttal tesszük egyenlővé, legyenx_k =L(vagy x_k =U).

Ezt a feltevést az alábbi SRAS algoritmus 2. lépésébe építettük be. Tegyük fel továbbá, hogy azf(x_i)függvényértékeket nem lehet pontosan kiszámítani; a pontos érték helyett csak a függvényérték és egy additív hiba összege áll rendelkezésünkre. Ez két okból fordulhat elő: a.) a függvény („megfigyelés”) természete önmagában véletlen, vagy pedig b.) a függvényérték kiszámítására használt eljárás (például Monte Carlo integrálás) egy véletlen hibával terhelt értéket tud csak előállítani. Ezeket az eseteket összefoglalóan a zajos függvény esetének nevezzük.

Ezen zajos függvény feltevés esetén az x_k, x_k+1, . . . , α_k, β_k mennyiségek valószínűségi változók lesznek. A valószínűségi változókat egy hullám (e) jellel különböztetjük meg a determinisztikus megfelelőiktől (ha ez nem okoz zavart, akkor lehagyjuk a hullám jelölést).

Így most az f_i = f(x_i) pontos függvényérték helyett csak az fe_i = f_i +ε_i áll a ren-delkezésünkre ahol ε_i egy véletlen zaj. Erre a következő feltevéssel élünk:

A(ε−3) Legyenek az εi, i= 0,1, . . . azonos eloszlású, teljesen független valószínűségi változók, amelyekreE(ε_i) = 0,D²(ε_i) = σ², i= 0,1, . . . , E(ε_iε_j) = 0, i, j = 0,1, . . . , i6=j.

Azε_i, i= 0,1, . . . , k−1valószínűségi változók által generált legkisebbσ-algebraAk−1, ahol A_i ⊂ A_i+1, i = 2,3, . . ., a Se_k = {xe_i,fe_i}^k−1_i=0, ex_k,me₀, valószínűségi változók az Ak−1

σ-algebrán mérhetőek. Jegyezzük meg, hogy ex_k az Se_k = (ε₀, . . . , εk−1,ex₀, . . . ,xek−1)-tól függ,xe_k ∈ Ak−1, de xe_k független az ε_k∈ A_k-tól.

5.4.1. Az SRA

S

algoritmus

Módosítjuk azSRAD algoritmust a zajos függvényértékek esetére, hogy az egyetlen lehet-séges szingularitási pontot elkerüljük. Addig nem számítunk ki új pontot, amígαe_k≤δ_L/2 vagy αe_k ≥ 2δ_U teljesül, hanem ilyenkor a legutolsó xe_k pontban többször kiszámítjuk a függvényértéket:

SRA_S – egydimenziós gyökkeresés, zajos függvény)

0. Tegyük fel, hogy rendelkezésünkre áll egy kiindulási Sek={xi,fei}^k−1_i=0 halmaz és legyen a k iterációs számláló az adott pontok száma.

1. Számítsuk ki a eg_k(x) = αe_kx+βe_k függvény paramétereit az Se_k-ból.

Ha δ_L/2≤αe_k és αe_k ≤2δ_U fennáll, akkor menjünk a 2. lépésre, egyébként legyen ex_k=exk−1, számítsuk ki az fe_k =f(exe_k) értéket, a ex_k,fe_k párt tegyük hozzá Se_k-hoz, Se_k+1 =Se_k∪ {xe_k,fe_k}, növeljük meg az iterációs számlálót és menjünk vissza az 1. lépés elejére.

2. Határozzuk meg az xe_k közelítő gyököt az eg_k(x) = 0 egyenletből.

Ha xe_k < L, akkor legyen xe_k =L, ha xe_k > U, akkor legyen ex_k =U. 3. Ha ex_k „elég jó”, akkor STOP. Egyébként számítsuk ki az f(exe_k)

függvényértéket és legyen Se_k+1 =Se_k∪ {xe_k,fe_k}, továbbá k =k+ 1, és menjünk vissza az 1. lépésre.

Vegyük észre, hogy az Se_k-ból számított αe_k mennyiségre P{δ_L ≤ αe_k} > 0 és P{αe_k ≤ δ_U}>0, mivel0< δ_L≤E(αe_k)≤δ_U <∞ fennáll. Tehát az 1. lépésen belüli ciklust csak véges sokszor ismételjük meg (a Borel-Cantelli lemma alapján) 1 valószínűséggel. Tehát P{δ_L/2≤αe_k}=P{αe_k ≤2δ_U}= 1 az SRA_S-el számítottαe_k mennyiségre.

5.4.2. A sztochasztikus approximáció

Az alábbiakban azSRA_S algoritmus és a sztochasztikus approximáció néven ismert eljárás közötti összefüggéssel foglalkozunk és megmutatjuk, hogy ezek hasonlóak. Nevezetesen a szukcesszív regressziós approximáció rekurzív képletében a függvényértékek szorzója ugyan valószínűségi változó, de erre bizonyos korlátokat lehet adni.

A sztochasztikus approximáció eljárását Robbins és Monro [RM 51] javasolták egydi-menziós gyökkeresésre. Ezt később sok másmilyen esetre kiterjesztették (csak két átfogó irodalmi hivatkozást adunk meg, Kushner és Clark [KC 78], valamint Benveniste et al.

[BMP 90] könyvét), itt csak az alapeljárást ismertetjük.

Tekintsük feladatunknak az f(x) = 0 egyenlet megoldását, ahol az f(x) pontos füg-gvényérték helyett csak a zajos[f(x)+ε]érték áll rendelkezésünkre, aholE(ε) = 0, D²(ε) = σ². A sztochasztikus approximációban az

x_n+1 =x_n−a_n[f(x_n) +ε_n]. (5.39)

alakú rekurziót alkalmazzák a gyök meghatározására (ε_n teljesen független, azonos elos-zlású valószínűségi változók, nulla várható értékkel), az így előállított {x_n} sorozatot RM sorozatnak nevezzük. Ekkor igaz a Dvoretzky által bizonyított következő tétel (lásd [Dvo 56] p. 50):

17. Tétel. Tegyük fel, hogy

(i) rendelkezésünkre áll az f(x) +ε érték, ahol E(ε) = 0, D²(ε)< σ², (ii) az {an} pozitív tagokból álló sorozatra P∞

n=1an=∞,P∞

n=1a²_n <∞ fennáll, (iii) valamilyen A, B állandókkal fennáll |f(x)|< A|x|+B <∞,

(iv) minden k-ra inf1/k<x−Θ<kf(x)>0, sup1/k<Θ−x<kf(x)<0 igaz.

Ekkor az RM sorozat 1 valószínűséggel konvergál a Θ gyökhöz.

Az általunk adott A(f −1) feltétel erősebb a tételben adott simasági feltételnél, a zajra azonos feltételt tettünk. Vegyük észre, hogy az un. 1/n típusú sorozatok kielégítik a feltételeket, vagyis ha valamilyen C⁰, C⁰⁰ pozitív konstansokkal igaz, hogy C⁰/n≤a_n ≤ C⁰⁰/n fennáll, akkor az a_n együtthatókra tett (ii) feltétel és ezzel a konvergencia teljesül.

Megmutatjuk, hogy az általunk lépéshossznak nevezett mennyiség majdnem 1/n típusú sorozat.

A Robbins-Monro eljárásban az a_n értékét arra használják, hogy nem túl gyorsan, de csökkentsék a változás mértékét, mintegy mesterségesen csillapítják a véletlenből következő ingadozásokat.

Az SRA eljárást egy automatikus, természetes SA eljárásnak is tekinthetjük. Au-tomatikusnak nevezhetjük, mivel itt az a_n együtthatónak megfelelő lépéshossz sorozatot nem előre adjuk meg, hanem az algoritmus maga határozza meg, az eddigi pontokból és az eddigi függvényértékekből. Természetes sztochasztikus approximációs eljárásnak is nevezhetjük, hiszen az átlagolás gyakran használt eszköz a véletlen ingadozások (zajos függvények) esetén, ilyen például Ruszczynski [Rus 80], vagy Polyak [PJ 92] munkája az optimalizálás területén – a szukcesszív regressziós közelítéseket pedig átlagok határozzák meg (lásd az egydimenziós esetben az m₀, M₁, stb. mennyiségek definícióját).

5.4.3. Lépéshossz az SRA

_S

algoritmusban

Tetszőleges korlátos és konvergens {x_k} pontsorozatokat vizsgálunk a következőkben és alsó korlátot határozunk meg az ezen pontsorozatok által előállított lépéshosszak soroza-tára. Tekintsük azSRAalgoritmus által megadott rekurzív formulát:

xk+1 =xk−fk

Pk−1

i=0(x_k−x_i)² Pk−1

i=0

Pk

j=i+1(x_j −x_i)(f_j−f_i).

Azf_kfüggvényérték együtthatóját jelöljel_k, ez felel meg az RM eljárás (5.39) rekurzív képletében a függvényértékek együtthatójának, és ezt nevezzük lépéshossznak:

l_k =

k és az SRA_S algoritmus tulajdonságai alapján tudjuk, hogy 0 < δ_L/2 <

α_k <2δ_U <∞ fennáll, ezért

1

2δ_Uϕk≤lk ≤ 1 δ_L/2ϕk.

Tehát ha a ϕ_k mennyiségre korlátokat tudunk adni, akkor ebből automatikusan kor-látokat kapunk a lépéshosszra is. Rögtön látható, hogy ϕ_k ≤ 1, mivel ϕ_k-nak az (5.41) egyenletben adott számlálója része a nevezőjének. A következő szakaszban a konvergens sorozatokat vizsgáljuk.

5.4.4. Konvergens pontsorozat esete

Tegyük fel, hogy az{x_k} pontsorozat konvergál egy x^∗ ponthoz. Belátjuk, hogy az {x_k} pontsorozat által meghatározott (generált) {ϕ_k}együtthatók sorozatát alulról korlátozza egy1/k típusú sorozat.

18. Lemma. Legyen {xk} egy pontsorozat, amelyre limk→∞xk = x^∗, és tegyük fel, hogy {x_k} generálja aϕ_k sorozatot. Ekkor egy elég nagy k index esetén fennáll, hogy

1

9k ≤ϕ_k ≤1.

Bizonyítás. Aϕ_kalsó korlátját a következőképpen határozzuk meg. Tegyük fel, hogy ak index olyan nagy, hogy az x_k, x_k+1, x_k+2, . . . pontok mindegyike benne van azx^∗ pont körüli, δ sugarú környezetben, tehát csak véges számú pont van ezen kívül. Indexeljük át az xi, i= 0,1, . . . , k−1 pontsorozatot úgy, hogy x0 van a legmesszebb az x^∗ ponttól, x₁ a második legtávolabbi pont, stb. és legyen δ ≤ |x₀ − x^∗|/4 egy rögzített sugár.

Megmutatjuk, hogy a ϕ_k együttható (5.41) adott kifejezésében lévő számláló egy (x_k− x_i)² tagjának 9k-szorosa nagyobb, mint k darab (vagy annál kevesebb) nevezőbeli (x_i− x_j)², j =i+ 1, . . . , k tag vagyis belátjuk a

egyenlőtlenséget. Ezt úgy látjuk be, hogy minden iindexre belátjuk a baloldalon és a jobboldalon lévői indexű mennyiségek között ezt az egyenlőtlenséget. Tekintsük azi= 0 index esetét, ekkor

9k(x_k−x₀)² ≥(x₀−x₁)²+ (x₀−x₂)²+. . .+ (x₀−xk−1)²+ (x₀−x_k)², (5.43) fennáll, mivel a jobboldalon állókdarab tag mindegyike kisebb, mint9(x0−xk)². Például a (5.43) jobboldalán álló első tagra (j =i+ 1 = 1) írhatjuk, hogy

|x₀−x₁| ≤ |x₀−x^∗|+|x^∗−x₁| ≤2|x₀ −x^∗| ≤2[|x₀−x_k|+|x_k−x^∗|]≤

≤2[|x₀−x_k|+δ]<3|x₀−x_k|.

A (5.43) jobboldalának a j-edik tagjára (j = 2,3, . . . , k) kapjuk, hogy

|x0−xj| ≤ |x0−x^∗|+|x^∗−xj| ≤2|x0−x^∗| ≤2[|x0−xk|+|xk−x^∗|]≤3|x0−xk|.

amivel az (5.43) egyenlőtlenséget teljesen beláttuk (az i = 0 esetet elintéztük). Hason-lóképpen járunk el a többii indexre: az (5.42) baloldalii-edik tagjára (i= 1,2, . . . , k−1) és a jobboldali i indexű tagokra fennáll a

9k(x_k−x_i)² ≥(x_i−x_i+1)²+ (x_i−x_i+2)²+. . .+ (x_i−xk−1)²+ (x_i−x_k)²,

egyenlőtlenség, mivel az itt szereplőx_i, x_i+1, . . . x_k−1 pontok közül azx_i van a legmesszebb azx^∗ ponttól a sorbarendezés miatt, így a fenti gondolatmenet alkalmazható. Megjegyez-zük, hogy azi-edik egyenlőtlenség jobboldalon csakk−itag van, tehát a két oldal közötti különbség nő azinövekedésével. Összeadva az ígyi= 0,1, . . . , k−1esetére kapott egyen-lőtlenségeket pontosan a belátandó (5.42) egyenlőtlenséget kapjuk, amely átrendezés után a{ϕk}sorozat keresett alsó korlátját adja.

A felső korlát a ϕ_k definíciója után tett megjegyzésünk alapján fennáll.

In document A sztochasztikus programozás Monte Carlo módszereiről Doktori értekezés (Pldal 104-108)