A normális eloszlás lineáris regressziós becslései

Legyen a 0 várható értékű, R korreláció mátrixszú m-dimenziós normális eloszlás elos-zlásfüggvénye adott a következőképpen:

Feltesszük, hogy az eloszlás nem degenerált, tehát R pozitív definit mátrix, minden komponens szórása 1 – a nemstandard eloszlások lineáris transzformációval kezelhetők.

AΦ(h)függvényértékek kiszámítására használt Monte Carlo módszerek egyηvalószínűségi változó y1, . . . , yn független realizációit állítják elő, ahol E(η) = Φ(h). A függvényérték

torzítatlan becslését használják a numerikus számításokban a Φ(h) közelítő értékeként.

Ha D²(η) = σ², akkor D²(y) = σ²/n, vagyis az y becslés szórása σ/√

n. A centrális határeloszlás tétel alapján azηvalószínűség változóról feltesszük, hogy normális eloszlású, azaz η∈N(Φ(h), σ).

Jelölje a többdimenziós normális eloszlás eloszlásfüggvényének egy egyenes mentén valóR¹ →R¹ függvényét f(x), vagyis legyen

f(x) = Φ(z+x(d−z)),

ahol z,d rögzítettek, valamint feltesszük, hogy d növekvő irány, tehát f(x₁)< f(x₂), hax₁ < x₂ – ez a feltevés csak a csonkolás és a gyökkeresés leírásának leegyszerűsítésére szolgál, de egyébként nem lényeges kikötés és nem szűkíti az általánosságot.

Három olyan eljárást írunk le, amelyek segítségével az f(x)függvény közelítéseit lehet megkonstruálni. Ezeknek az egyváltozós közelítéseknek az alkalmazása végsősoron azt eredményezi, hogy azm-dimenziós térben lévő feladatok helyett csak egydimenziós felada-tokat kell megoldani (például a gyökkeresésnél, vagy a gradiens kiszámításánál). Továbbá

egy iteratív eljárás segítségével a közelítések egy adott pontban egyre pontosabbakká tehetők – anélkül, hogy pontosan tudnánk, hogy hol van ez a pont.

Tegyük fel, hogy a rendelkezésünkre áll egy Monte Carlo eljárás, amelynek segítségével az f(xi), i= 1, . . . , n függvényértékek (zajos) pi becsléseit meg tudjuk határozni, ahol pi

egy valószínűségi változó, amelyre p_i = f(x_i) + ξ, ξ ∈ Ne(0,eσ). Itt Ne(0,eσ) a nulla várható értékű,σszórású egydimenziós normális eloszlásnak egy csonkolt változata, vagyis a csonkolt eloszlás 0 várhatóértékű, eσ szórású, sűrűségfüggvénye pedig

φ(x) =e Cexp

− x² 2σ²

, x∈[−3σ,3σ], ahol a konstans értékeC = 1.0028/(√

2πσ). Feltesszük még, hogy0< f(x_i)−3σ, f(x_i) + 3σ <1fennáll, vagyis 0< p_i <1,∀i.

Legyen adott az x_i pontoknak egy halmaza, amelyekhez meghatározhatjuk a Φ füg-gvényértékek pi közelítéseit, tehát rendelkezésünkre áll a S = {xi, pi}ⁿ_i=1 halmaz. Ebből kiindulva af(·)függvénynek egyt(·)regressziós becslését határozzuk meg. At(·)alakjára vonatkozóan három különböző feltevést fogadunk el, ennek megfelelően háromfajta bec-slést konstruálunk. Itt tulajdonképpen azt használjuk ki, hogy a 4.1 részben alkalmazott közelítések viszonylag jól közelítették a normális eloszlásfüggvényt, ezért a hasonló alakú becslések várhatólag jók lesznek itt is.

Az alapbecslés – az eredeti f(·) függvény kvadratikus approximációja

Keressük a t₁(x) becslést, amelynek alakja g₁(x) = a₁x² +b₁x +c₁, ahol az a₁, b₁, c₁ paramétereket úgy határozzuk meg, hogy a hibák négyzeteinek összege minimális legyen.

Ezt a

amin1,b1,c1

n

X

i=1

[pi−(a1x²_i +b1xi+c1)]² (4.12) feladat megoldásával lehet elvégezni. Az elsőrendű szükséges optimalitási feltételek alapján a fenti összeget az a₁, b₁, c₁ szerint deriváljuk, és a deriváltakat 0-val egyenlővé tesszük. A keletkezett egyenletrendszer lineáris a paraméterekben, tehát könnyen megold-ható (a teljes jelölésrendszer és megoldás például a [De 98b] cikkben találmegold-ható).

Nyilvánvalóan a0≤f(x)≤1egyenlőtlenségek teljesülnek, tehát azonnal csonkolnunk kell a kapott függvényt, ezt null–csonkolásnak nevezzük: jelöljeIa számunkra elfogadható intervallumot I ={x|0≤g1(x)≤1}, és ekkor becslésünk alakja t1(x) =g1(x), ha x∈I.

A feltevés alapján f(x) monoton növekvő, tehát a g₁(x) függvénynek a monoton növekvő része használható, mint az f(x) függvény egy becslése. A Φ eloszlásfüggvény logaritmikusan konkáv, tehát a g₁(x)függvénynek is konkávnak kell lennie (most eltekin-tünk azoktól az esetektől, amikorp_i kiszámított értékekben fellépő véletlen hibák miatt a g₁(x)függvény esetleg konvexszé válik). Ennek alapján egy újabb csonkolást hajtunk vé-gre, amelyet az állandó–csonkolásnak nevezünk. Legyen a g₁⁰(xt) = 0 egyenlet megoldása

x_t=−b₁/(2a₁), akkor a null–csonkolás és az állandó–csonkolás figyelembevételével at₁(x) becslést a következőképpen definiáljuk:

t₁(x) =

( max(0,min(1, g₁(x))), ha−∞< x≤x_t, max(0,min(1, g₁(x_t))), hax_t < x <∞,

ahol g₁(x_t) = c₁ −b²₁/(4a₁). Egyes esetekben másmilyen csonkolásra is szükségünk lehet; nevezzük lineáris csonkolásnak azt, amikor a függvény levágott részét a g₁(x_t) ál-landó helyett egy olyan monoton növő lineáris függvénnyel helyettesítjük, amely a g1(x) függvény érintője az x_tt =x_t−κ pontban (ahol κ >0 egy kis szám), de csak addig, míg az 1 értéket el nem éri. Pontosabban legyen az egyenes egyenletea_tx+b_t, akkor a

a_tx_tt+b_t =g(x_tt), 2a₁x_tt+b₁ =a_t

egyenlőségekből határozhatók meg az egyenes a_t, b_t paraméterei. Tehát a t₁(x) alap-becslés a null-csonkolás és a lineáris csonkolás esetén

t₁(x) =











max(0,min(1, g₁(x))), ha −∞< x≤x_tt

max(0,min(1, a_tx+b_t)), ha x_tt < x≤(1−b_t)/a_t, 1, ha (1−b_t)/a_t< x < ∞.

A további becslések esetén az egyszerűség kedvéért csak az állandó–csonkolást írjuk le, bár a null–csonkolást mindig el kell végezni és a lineáris csonkolás is végrehajtható (az állandó csonkolás helyett). Hasonlóképpen nem foglalkozunk azzal az esettel, amikorf(x) függvény definíciójában szereplődirány nem növekvő irány. Ezek az elhanyagolások csak a gyökkeresés folyamatának egyszerűbb leírásához vezetnek – azf(x) mindig közelíthető egyg₁(x)alakú függvénnyel.

Jegyezzük meg, hogy a t1(x) approximáló függvény monoton növővé tehető, de a konkávitását nem lehet garantálni. Hasonlóképpen a továbbit₂(x), t₃(x) becslések esetén sem lehet a konkávitást biztosítani, csak arra hivatkozhatunk, hogy a legtöbb gyakor-lati számítás során ezt aszimptotikusan (a felvett pontok számának megfelelően naggyá választásával) mindig elértük.

Logaritmikus becslés – a logf(·) kvadratikus approximációja

Azf(x)függvény közvetlen approximációja helyett most egyg₂(x) =a₂x²+b₂x+c₂ alakú függvényt használunk alogf(x)függvény közelítésére, tehát azf(x)közelítésére használt logaritmikus becslésünkt₂(x) = exp{g₂(x)}. Ez a becslés is könnyen meghatározható: egy lineáris egyenletrendszerből kaphatók a paraméterek. Vezessük be a q_i = logp_i jelölést, akkor a megoldandó feladatunk

min

a2,b2,c2

n

X

i=1

q_i−(a₂x²_i +b₂x_i+c₂)2

w_i, (4.13)

ahol a w_i normalizált súlyokat is használtuk (ezeket később adjuk meg). Az a₂, b₂, c₂ paramétereket a (4.13) feladatból az előzőleg leírtak szerint lehet kiszámítani (lásd még [De 98b]). Prékopa eredményei alapján [Pr 95] a Φ(h) logkonkáv, tehát a logf(x) füg-gvény konkáv és monoton növekvő, tehátg2(x)függvényt is konkávvá és monoton növővé kell tenni. Legyenx_t =−b₂/(2a₂)a csonkolási pont, amivel at₂(x)becslés a következőkép-pen adható meg.

t₂(x) =

( max(0,min(1,exp{g2(x)})), ha −∞< x≤xt, max(0,min(1,exp{g₂(x_t)})), ha x_t< x <∞.

A fordított–logaritmikus becslés – a log(1−f(x)) kvadratikus approximációja Alog(1−f(x))függvényt egyg₃(x) = a₃x²+b₃x+c₃ alakú függvénnyel közelítjük, tehát a t₃(x) = 1−exp{g₃(x)} függvény az eredeti f(x) függvény egy becslése lesz. Ez is egy lineáris regresszió, melynek paramétereit a

a3min,b3,c3

n

X

i=1

[ri−(a3x²_i +b3xi+c3)]²wi.

minimalizálási feladat elsőrendű szükséges feltételeiből lehet meghatározni – itt használ-tuk az ri = log(1−pi), i= 1, . . . , n jelölést, a wi normalizált súlyokat később határozzuk meg. Aza₃, b₃, c₃meghatározása egyszerűen úgy végezhető, hogy aza₂, b₂, c₂esetén kapott kifejezésekben aq_i jelöléseketr_i-re cseréljük. Alog(1−f(x))függvény monoton csökkenő.

Egy megfelő csonkolás eléréséhez feltesszük, hogy az approximáló függvény konkáv (a konvex eset hasonlóan kezelhető) és azx_t=−b₃/(2a₃) pontot használjuk csonkolási pon-tként. A fordított logaritmikus becslés a null– és az állandó–csonkolás alkalmazása esetén a következő:

t₃(x) =

( max(0,min(1,1−exp{g₃(x_t)})), ha −∞< x≤x_t max(0,min(1,1−exp{g3(x)})), ha xt< x <∞.

Emlékeztetünk arra, hogy a 4.1 részben leírtak szerint egy ilyen alakú és módon számolt, az egydimenziós normális eloszlásfüggvényt közelítő függvény három tizedesre pontos eredményt ad, így remélhetőleg ez a becslés jól közelíti az m-dimenziós normális eloszlásfüggvény egy egyenes mentén való függvényét is.