A paraméterek becslése

Legyen X₁,X₂, . . . ,X_N egy N méretű, N_p(µ,Σ) eloszlásból vett véletlen minta, ahol N > p. Ekkor a µ és a Σ maximum likelihood becslése a következő:

AΣbecslésének korrigálásával könnyen megkapható azS=A/ntorzítatlan becslés, aholn=N−p.

A sűrűségfüggvény konstans tagja következmények nélkül elhagyható, így a likelihood függvény:

ahol az egyenlőség akkor és csak akkor teljesül, haµ=X, amelynél felhasz-náltuk azt tényt, hogy

X−µT

Σ⁻¹ X−µ

= 0 (3.11)

akkor és csak akkor ha µ = X, ugyanis Σ⁻¹ pozitív definit. Ebből az kö-vetkezik, hogy X a maximum likelihood becslése µ-nek, bármely Σ esetén.

Ezután már csak a

L X,Σ

függvényt kell maximalizálni (Σ-ra), vagy ami ezzel ekvivalens,

függvénynek egyetlen maximuma van, mégpedig az x = N helyen, azaz a maximumNlnN−N, amiből az következik, hogy

g(Σ)≤ 1 amelynél az egyenlőség akkor és csak akkor áll fenn, ha

λ_i =N,(i= 1, . . . , p). (3.17) Ez utóbbi feltétel ekvivalens az

A^1/2Σ⁻¹A^1/2 =N I_p (3.18) egyenlőséggel, ezértΣ = (1/N)A. Összefoglalva,

L(µ,Σ)≤N^pN/2e^−pN/2|A|^−N/2 (3.19) kifejezésben az egyenlőség akkor és csak akkor áll fenn, ha µ = X és Σ = (1/N)A. Ezzel az állítást igazoltuk.

Habár ezek a becslések könnyen meghatározhatók, valamint jól megállapított tulajdonságokkal rendelkeznek, döntéselméleti szempontból mégsem optimá-lisak, ugyanis nem megengedhetőek. A négyzetes veszteségfüggvény összegé-ből kiindulva

L(µ,µ,ˆ Σ) = (µ−µ)ˆ ^TΣ⁻¹(µ−µ)ˆ , (3.20)

James és Stein [15] megmutatta, hogy a becslésnek

kisebb a várható vesztesége, mint az X-nek,p≥3,ezért X nem megenged-hető a p≥3esetben.

Sajátos becslési problémák merülnek fel, amikor a vizsgálandó többváltozós normális eloszlású adatok között hiányzó értékek is vannak. Nézzünk egy kétváltozós esetet, ahol legyen a hiányos minta (x₁, x₂, . . . , x_n, x_n+1, . . . , x_N) és

(y₁, y₂, . . . , y_n), a várható érték vektor (µ₁, µ₂), a közös szórásnégyzet σ², valamint a korrelációs együttható ̺. A maximum likelihood becslés meg-kapható, ha a likelihood függvényt felírjuk az x likelihoodjának és az y, x melletti feltételes likelihood függvényének szorzataként. A becslést tehát a következő négy egyenlet megoldásai adják:

ˆ

A[−1,1] intervallumon pontosan egy gyöknek egyezik meg az előjele azS₁₂ -ével, ami a harmadfokú egyenlet megoldása

f(ˆ̺) = n S₁^∗2−S₁² ˆ

̺³−(N −n)S₁₂̺ˆ²+ +

N S₁²+S₂²

−n S₁^∗2−S₂^∗2 ˆ

̺−(N+n)S₁₂ = 0.

Ez a valós gyök az egyetlen maximum likelihood becslése (MLE)̺-nak.

3.3. Hipotézis vizsgálat, konfidencia intervallum

Az alábbi állításokat (tulajdonságokat) felhasználjuk a többváltozós normális eloszláshoz kapcsolodó statisztikák minta eloszlásainak származtatásához.

1. Legyen Z eloszlása N_p(0,Σ), ekkor a Z^TΣ⁻¹Z kvadratikus alakja χ²_p eloszlású.

2. HaA egy p×pdimenziójú pozitív definit mátrix és felírható a

m

X

α=1

Z_αZ^T_α (3.30)

alakban, ahol Z₁, . . . ,Z_(m) függetlenek és N_p(0,Σ) eloszlásúak, akkor az A elemei Wishart eloszlásúak, m szabadságfokkal és Σ kovarianca mátrixal. Ennek a jelölésére az A ∼ W_p(m,Σ) kifejezést használják, ahol az index az A dimenzióját mutatja.

3. LegyenZ ∼N_p(0,Σ)és A∼W_p(m,Σ), ahol Zés A független elosz-lásúak, akkor a

Z^T(A/m)⁻¹Z (3.31)

eloszlására azt mondjuk, hogy Hotelling-féle T_m² eloszlású, m szabad-ságfokkal.

Az egyváltozós normális esetbeli mintaátlag és szórásnégyzet függet-lenségének analógiájára alapozva, az X és S itt is független eloszlású, ahol

X∼N_p(µ,Σ/N) és S∼W_p(n,Σ/n). (3.32)

A Σ kovariancia mátrix ismeretében felhasználhatjuk az 1. tulajdonságot,

Ennek következményeként, hipotézisvizsgálatokat és konfidencia intervallu-mokat készíthetünkµ paraméterhez.

AH₀ :µ=µ₀ vizsgálatára az N X−µ₀T

Σ⁻¹ X−µ₀

≥χ²_p,α (3.34)

elfogadási tartományt használjuk, aholχ²_p,αapszabadságfokúχ²eloszlás fel-ső1−αpontját jelöli. X-ből kiindulva, aµ(1−α)konfidencia intervalluma

N µ−XT

Σ⁻¹ µ−X

≤χ²_p,α, (3.35) ami egy Xközéppontú ellipszoid felülete és belseje.

A3. tulajdonságot felhasználva, következésképpen kapjuk, hogy N X−µT

S⁻¹ X−µ

∼T_n². (3.36)

Ennek eredményeként, ha Σ ismeretlen akkor is állíthatunk fel µ-re vonat-kozó próbákat a következő egyenlőtlenséget felhasználva

N X−µT

S⁻¹ X−µ

≥T_n,α² . (3.37)

Aµ-re vonatkozó (1−α)konfidencia intervallum pedig N µ−XT

leegyszerűsíti ezeket a számításokat, ugyanis azF-eloszlás percentilisei azon-nal elérhetők. A szóban forgó eredmények kiterjeszthetők két sokaság várható érték vektorát vizsgáló próbákra és konfidencia intervallumokra is.

Egyéb hipotézis vizsgálatok (pl.: diszkriminancia analízis, k várható érték vektorok egyenlőségének vizsgálata, MANOVA, kovariancia mátrixok egyen-lősége, kanonikus korreláció) különböző Wishart eloszlásokból származtatott karakterisztikus gyökök együttes eloszlásfüggvényén alapulnak.

3.4. Normalitás vizsgálat

Módszer annak vizsgálatára, hogy egy populáció normális eloszlású-e vagy sem. Meglehetősen sokféleképpen térhet el a vizsgált eloszlás a normálistól, és ezek meghatározására irányuló különböző eljárások egyesítése nem len-ne hatékony. Mivel nincs egyetlen átfogó, minden esetben jól alkalmazható módszer sem, így a megfelelő kiválasztása történhet a legvalószínűbbnek vélt eltérés alapján, vagy amelyikkel a leghasználhatóbb eredmények kaphatók.

A vizsgálat előtt érdemes az adatokat ábrázolni és a nagyon kiugró pontokat elhagyni, mert ezek miatt hamis eredményeket is kaphatunk a nem normali-tásra vonatkozólag.

Amikor egy tesztet sok változón kell végrehajtani, akkor előfordulhat, hogy a legjelentősebb nem normalitást okozó tényezők hatását elrejti a többi változó ún. "hígító" hatása. Ilyen esetben csak azokat kell kiválasztani, amelyek a vizsgálat tárgyát képezik.

Feltéve, hogy diszjunkt részhalmazokat választottunk, amelyek hozzávetőleg függetlenek, és nem okoz gondot a szignifikancia szint meghatározása a teljes tesztet átfogóan, a következő vizsgálatok közül választhatunk:

1. Perem normalitás vizsgálat.

2. Egydimenziós vizsgálat részleges vagy együttes normalitást illetően.

3. Többváltozós módszerek az együttes normalitás vizsgálatára.

Legyenx₁,x₂, . . . ,x_n egyXvéletlen vektorból vettnhosszúságú megfigyelés sorozat, és legyen az X p darab komponense X₁, X₂, . . . , X_p. Legyen X és Sa mintabeli átlag és a szórásmátrix, valamint µ és Σ a megfelelő sokasági paraméterek. A nullhipotézis az, hogyX többváltozós normális.

Az x_i Mahalanobis távolsága X-től a következőképp definiálható

r_i²= (x_i−X)^TS⁻¹(x_i−X). (3.40) Az x_i−X és x_j−Xközti Mahalanobis szög

r_ij = (x_i−X)^TS⁻¹(x_j−X). (3.41) Askálázott reziduálisok

y_i=S^−1/2(x_i−X). (3.42)

3.4.1. Perem normalitás vizsgálat

Emlékezzünk rá, hogy a határ normalitásból nem következik az együttes normalitás, fordítva viszont igen. A legegyszerűbb lehetőség az, ha megvizs-gáljuk a határeloszlások egyváltozós normalitását és megbecsüljük a teljes szignifikancia szintet.

Legyen v₁ és v₂ két p×1 dimenziójú vektor, melyek a ferdeség és a lapult-ság értékeit tartalmazzák. Johnson S_U transzformációjának alkalmazásával, kapunk belőlük egy w₁ és w₂ vektort, melyek megközelítőleg standard nor-mális eloszlásúak. Jelöljew₁ és w₂ kovariancia mátrixait U₁ és U₂, melyek főátlóiban egyesek állnak. A nem főátlóbeli elemek aszimptotikusan ̺³_ij és

̺⁴_ij, ahol ̺_ij a corr(X_i, X_j), mely a mintabeli korrelációk által lett becsül-ve. AQ₁ =w^T₁U⁻¹₁ w₁ és Q₂ = w^T₂U⁻¹₂ w₂ próbastatisztikák megközelítőleg függetlenek, és null-eloszlásúak, hozzávetőlegesenχ²_p.

Mivel megmutatják, hogy egy önmagában álló határeloszlásban fellelhető-e a normálistól való eltérés, ezért az ilyen tesztek elvégzése mindig javasolt.

3.4.2. Egydimenziós vizsgálaton alapuló módszerek

Egy egyszerű, de jól alkalmazható módszer a többváltozós normalitás megha-tározására, az, hogy ábrázoljuk a rendezett Mahalanobis távolságokat a nekik megfelelő null eloszlások várható statisztikáinak függvényében. A p = 2 és a n ≥ 25 esetben ez az eloszlás a χ²₂-tel közelíthető. A p > 2 esetben a χ²_p eloszlással való közelítás már nem alkalmas, ilyenkor a Beta-eloszlás statisz-tikáinak becslése sokkal célravezetőbb. Mivel az r_i² null eloszlása ismert, így egy mennyiségi teszt végezhető azáltal, hogy normál pontokká alakítjuk őket és egyváltozós normalitás vizsgálatot végzünk.

A módszerek egy másik fajtája az, hogy a többváltozós normális eloszlás jellemzőit a váltózok összes lineáris kombinációján végzett egyváltozós nor-malitástesztek alapján vizsgálják.

A harmadik módszer két dimenziós adathalmazokon végzendő, de itt a pró-bastatisztikát a változók egyenkénti lineáris kombinációjával kapott függvény maximuma adja.

3.4.3. Együttes normalitás vizsgálat

Egy lehetséges geometriai megközelítés, hogy az y_i skálázott reziduálisokat polár koordinátákká alakítjuk, amivel kapunkpdarabr²_i =y_i^Ty_ikoordinátát, valamint

(p−1) független szöget. Az egyik szög egyenletes eloszlású lesz a [0,2π) intervallumon, így ez könnyen ábrázolható. p >2esetén a fennmaradó szögek eloszlásának sűrűsége

sin^j−1ϑ (0≤ϑ≤π, j = 2, . . . , p−1). (3.43) Mardia statisztikái a ferdeség és a lapultság mérésére:

b_1,p= 1 n²

n

X

i=1 n

X

j=1

r_ij³ és b_2,p= 1 n

n

X

i=1

r⁴_i. (3.44) Aszimptotikusan,

nb_1,p

6 (3.45)

eloszlásaχ²,

p(p+ 1)(p+ 2)

6 (3.46)

szabadsági fokkal, és b_2,p eloszlása pedig

N(p(p+ 2),8p(p+ 2)

n . (3.47)

Andrews és mások a Box-Cox-féle egyváltozós normalitásba transzformáló módszert kiterjesztették a többváltozós esetre is, amellyel egy likelihood há-nyados próba végezhető el a többváltozós normalitás megállapítására.

3.5. Példák

3.5.1. Kétváltozós normális eloszlás

AzXésYvalószínűségi változó kétváltozós normális eloszlású, ha az együttes sűrűségfüggvényük a következő:

f(x, y) =

= exp

"

− 1

2(1−̺²)

x−µ₁ σ₁

2

−2̺(x−µ₁)(y−µ₂) σ₁σ₂ +

y−µ₂ σ₂

2!#

2πσ₁σ₂p 1−̺²

ahol −∞< x <∞,−∞< y <∞, σ₁>0,σ₂ >0és −1< ̺ <1.

Az alábbi MAPLE program megrajzolja a sűrűségfüggvényt. Az ábrán két független standard normális valószínűségi változó együttessűrűségfüggvénye látható.

restart:

with(plots,display,textplot3d):

f:=(x,y,mu1,mu2,sigma1,sigma2,rho)->exp((-1/(2*(1-rho^2)))*

(((x-mu1)/sigma1)^2-2*rho*(x-mu1)*(y-mu2)/(sigma1*sigma2)+

((y-mu2)/sigma2)^2))/(2*Pi*sigma1*sigma2*sqrt(1-rho^2));

plot3d(f(x,y,0,0,1,1,0),x=-3..3,y=-3..3,axes=frame);

Az ábrán két független standard normális valószínűségi változó együttessű-rűségfüggvénye látható.

Az ellipszis alakú szintvonalak ábrázolása:

with(plots):contourplot(f(x,y,0.9,0,1,1,0.5),x=-4..4,y=-4..4, grid=[40,40]);

3.5.2. T

²

próba

Vizsgáljuk meg H₀ :µ= (9,5)^T hipotézist az alábbi adatokon:

X =



 6 9 10 6 8 3



.

Ebből megkapjuk, hogyX = (8,6)^T és S =

4 −3

−3 9

. Tehát

S⁻¹=





 1 3

1 1 9 9

4 27







és

A 2 és 1 szabadsági fok és 5%-os szignifikancia szint mellett még bőven bele-esik a megbízhatósági intervallumba, így elfogadhatjuk aH₀ hipotézist.

3.5.3. Konfidencia intervallum meghatározása

A konfidencia intervallumot alapvetően aH₀ hipotézis által elfogadott összes paramaméter érték határozza meg. Például egy egymintás, két oldalút-próba esetén

−t≤ x−µ s/√

n ≤t,

ahol taz eloszlás megfelelő értéke, µ pedig aH₀ hipotézis feltevése.

Alkalmazzuk ugyanezt a gondolatmenetet aT² próbára is: határozzuk meg azokat aµ= (µ₁, µ₂)^T értékeket, melyekre igaz, hogyT²≤F. Térjünk vissza

Ahhoz, hogy beleessen a 90%-os konfidencia intervallumba, teljesülnie kell annak, hogy T² ≤ 49,5. Mivel µ₁ = 10, µ₂ = 20, d₁ = 8−10 = −2, d₂ = 6−20 = −14. TehátT² = 27,44<49,5,ezért belesik.

Továbbá, µ₁ = 20, µ₂ = 15, d₁ = 8−20 = −12, d₂ = 6−15 = −9. Tehát T² = 63>49,5, azaz kívűlre esik.

4. fejezet

Feltételes várható érték, folyamatok

4.1. Bevezetés

4.1. Példa. Dobjunk fel egy dobókockát és az eredmény pontszám legyen Y. Továbbá, legyen az X = 1, ha az Y páros és X = 0, ha az Y páratlan.

Tudjuk, hogy E(Y) = 3.5. De mennyi az Y várható értéke, ha az eredmény páros, azaz X = 1. Az utóbbi információból következik, hogy az Y 2, 4, 6 lehet 1

3 valószínűséggel. Tehát az Y várható értéke az X = 1feltétel esetén E(Y|X = 1) = 2 + 4 + 6

3 = 4.

Hasonlóképpen

E(Y|X = 0) = 1 + 3 + 5 3 = 3.

Összefoglalva

E(Y|X) = 3 +X. (4.1)

4.2. Megjegyzés. Ebben a példában azY =y feltételes valószínűségeX =

xesetén

P(Y =y|X =x) =P(Y =y és X =x) P(X =x) =

=P({y} ∩ {2,4,6})

P({2,4,6}) = P({y}) P({2,4,6}) =

=1

3 hax= 1és y ∈ {2,4,6}

=P({y} ∩ {2,4,6})

P({2,4,6}) = P(∅) P({2,4,6}) =

=0 ha x= 1 és y6∈ {2,4,6}

=P({y} ∩ {1,3,5})

P({1,3,5}) = P({y}) P({1,3,5}) =

=1

3 hax= 0és y ∈ {1,3,5}

=P({y} ∩ {1,3,5})

P({1,3,5}) = P(∅) P({1,3,5}) =

=0 ha x= 0 és y6∈ {1,3,5}, így

6

X

y=1

yP(Y =y|X =x) = 3 +x.

Tehát abban az esetben, amikor azY és azX valószínűségi változó is diszkrét azE(Y|X)feltételes várható érték a következőképpen definiálható

E(Y|X) =X

y

yp(y|X), (4.2)

ahol p(y|x) =P(Y = y|X =x)amikor P(X =x)> 0.

4.3. Példa. Vezessük be a következő jelölést:

I(A) =

(1, ha x∈A, 0, ha x6∈A.

Legyen X ∼U(0,1).Ha X =x, akkor legyen Y ∼U(0, x),ekkor

amikor 0< y <1. Tehát az Y sűrűségfüggvénye f_y(y) =

(−lny, ha y ∈(0,1), 0, ha y 6∈(0,1).

Ebből a várható érték

E(Y) =

De mennyi az Y várható értéke, ha X = x. Az utóbbi információ alapján mostY ∼(0, x).Tehát a várható érték

4.4. Megjegyzés. Ebben a példában a két valószínűségi változó folytonos, azaz léteznek a sűrűségfüggvények. Ekkor

E(Y|X =x) = Z+∞

−∞

yf(y|x)dy =g(x).

Tehát általánosítva

E(Y|X) = Z+∞

−∞

yf(y|X)dy=g(X). (4.3) A példák két alapvető tulajdonságát mutatják a feltételes várható érték-nek. Egyrészt,E(Y|X)az X függvénye, amely a következőképpen fordítha-tó le: LegyenY és X két olyan valószínűségi vátozó, amelyek ugyanazon az {Ω,F, P}valószínűségi mezőn értelmezettek, és legyen FX =σ(X),azaz az X által generáltσ-algebra. Ekkor

Z =E(Y|X) mérhetőFX-re nézve. (4.4) Másrészt,

E((Y −E(Y|X))I(X ∈B)) = 0 ∀B ∈ B(R) esetén. (4.5)

4.2. Feltételes várható érték

Legyen X valószínűségi vátozó az {Ω,F, P}valószínűségi mezőn, ekkor E(X) =

Z

Ω

XdP = Z

R

xdF_X(x), ahol F_X az eloszlásfüggvény.

4.5. Definíció. Jelölje P_C aC feltétel melletti feltételes valószínűséget. Az Z

Ω

XdP_C (4.6)

integrált, ha létezik az X C feltétel melletti feltételes várható értékének ne-vezzük.

Jele: E(X|C). azaz P_C abszolút folytonosP-re nézve. Ez alapján

dP_C

dP = I(A) P(C) az ún. Radon-Nikodym derivált.

Tulajdonságok: Ezután meghatározhatjuk a feltételes várható érték általános fogalmát.

4.8. Definíció. Adott azX valószínűségi változó az{Ω,F, P}valószínűségi mezőn, E(X) véges és A ⊂ F σ-algebra. Az Y valószínűségi változó az X valószínűségi változó Afeltétel melletti feltételes várható értéke, ha

1. Y mérhetőA-re nézve, azaz σ(Y)⊂ A,

2. bármely A∈ A esetén E(Y|A) =E(X|A),azaz Z

A

Y dP = Z

A

XdP.

4.9. TÉTEL. Ha A ⊂ F és azX valószínűségi változó, amelyreE(X)véges, akkor a P valószínűség szerint 1 valószínűséggel egyértelműen létezik az 1-2.

tulajdonságoknak eleget tevő Y valószínűségi változó.

Jelölés: Y =E(X|A) =E(X|A)(ω).

4.10. Megjegyzés. Ha Z valószínűségi változó, akkor σ(Z) ⊂ F. Tekint-hetjük aσ(Z)-re vonatkozó feltételes várható értéket, amelyet azE(X|σ(Z)) helyett rövidenE(X|Z)-vel jelölünk. Tehát

1. E(X|σ(Z)) mérhető σ(Z)-re nézve és 2. bármely A∈ A esetén

Z

A

E(X|σ(Z))dP = Z

A

XdP.

4.3. A feltételes várható érték tulajdonságai

4.11. TÉTEL. E(E(X|A) =E(X).

4.12. TÉTEL. Ha P(X ≤Y, akkor P(E(X|A))≤P(E(Y|A)).

4.13. TÉTEL. Ha E(|X|)< ∞ és E(|Y|)<∞ akkor

P(E(αX +βY|A) =αE(X|A) +βE(Y|A)) = 1.

4.14. TÉTEL. Legyen E(|X|)< ∞. Ha X F-mérhető, akkor P(E(X|A) =X) = 1.

4.15. TÉTEL. Legyen E(|X|)< ∞. Ha X F-mérhető, akkor P(E(X|{∅,Ω}) =E(X)) = 1.

4.16. TÉTEL. Legyen E(|X|)< ∞ és U =X −E(X|A), akkor P(E(U|A) = 0) = 1.

4.17. TÉTEL. (torony tulajdonság) Legyen E(|X|)<∞ és A0 ⊂ A1 ⊂ A σ-algebrák, akkor

P(E(E(X|A1)|A0) =E(X|A0)) = 1.

4.18. TÉTEL. (monoton konvergencia) Legyen azX_n nem-negatív való-színűségi változók sorozata az{Ω,F, P} valószínűségi mezőn úgy, hogy

P(X_n ≤X_n+1) = 1 és

E(sup

n≥1

X_n)<∞, ekkor

P

n→∞lim E(X_n|A) =E( lim

n→∞X_n|A)

= 1.

4.19. TÉTEL. Legyen X A-mérhető, E(|X|)<∞ és E(|XY|)<∞, akkor P(E(XY|A) =XE(Y|A)) = 1.

4.20. TÉTEL. Legyen X és Y valószínűségi változók az {Ω,F, P} valószí-nűségi mezőn és E(|Y|) < ∞, ekkor létezik g Borel-mérhető függvény úgy, hogy

P (E(Y|X) =g(X)) = 1.

4.21. TÉTEL. LegyenX ésY független valószínűségi változók. HaE(|Y|)<

∞, akkor

P(E(Y|X) =E(Y)) = 1.

4.22. TÉTEL. Ha E(Y²)<∞, akkor ψ(X) =E(Y|X)esetén E((Y −ψ(X))²)

minimális.

4.23. Megjegyzés. Ez a tétel az alapja a regresszióanalízisnek.

4.24. Példa. Legyenek

X₁, X₂, . . . , X_n független, azonos eloszlású ésX_i ∼U(0,1).Legyen

Y₁, Y₂, . . . , Y_n a rendezett minta, ekkor

E(Y₁|Y_n = y) =y n, E(Y_k|Y_l =x) =k

lx, E(Y_k) = k

n+ 1, E( Y_k

Y_k+1) = k k+ 1.

Bizonyítás.

E(Y_k) =E(E(Y_k|Y_n)) = Z1

0

k

nxnxⁿ⁻¹dx= k n+ 1.

E( Y_k

Y_k+1|Y_k+1=t) = 1

tE(Y_k|Y_k+1 =t) = 1 t

k

k+ 1t= k k+ 1.

4.4. Martingál

4.25. Definíció. Legyen az {Ω,F, P} valószínűségi mező. Az

A1 ⊂ A2 ⊂ · · · ⊂ F (4.8) σ-algebra sorozatotszűrésnek nevezzük.

4.26. Megjegyzés. An jelenti a "tudást" az n-edik időpontban. An tartal-mazza az összes olyanAeseményt azn-edik időpontban, amelyről eldönthe-tő, hogy bekövetkezett vagy nem. Han növekszik, akkor ezen Aesemények halmaza is bővül. Ha hosszabb ideig élsz bölcsebbé válsz!

4.27. Definíció. Az X₁, X₂, . . . valószínűségi változó sorozat adaptált az A1⊂ A2⊂. . . szűrésre nézve, ha X_n An-mérhető bármely n∈N esetén.

4.28. Megjegyzés. AzAn =σ(X₁, X₂, . . . , X_n)a legszűkebb szűrés, amely-re azX₁, X₂, . . . valószínűségi változó sorozat adaptált.

4.29. Definíció. Az X₁, X₂, . . . valószínűségi változó sorozat martingál az A1⊂ A2⊂. . . szűrésre nézve, ha bármely n∈N esetén

1. E(X_n) véges, azaz integrálható, 2. X_n An-mérhető, azaz σ(X_n)⊂ An, 3. P(E(X_n+1|An) =X_n) = 1.

Jelölés:(X_n,An).

4.30. Megjegyzés. A harmadikat szokás martingál tulajdonságnak nevez-ni.

4.31. Példa. Legyen az Y₁, Y₂, . . . független valószínűségi változó sorozat, ahol E(Y_n) = 0 minden nesetén. Legyen

X_n =Y₁+Y₂+· · ·+Y_n és An = σ(Y₁, Y₂, . . . , Y_n), ekkor E(X_n) = 0 és X_n An-mérhető. Ezenkívül

E(X_n+1|An) =E(Y_n+1|An) +E(X_n|An) =E(Y_n+1) +X_n = X_n. Tehát(X_n,An) martingál.

4.32. Példa. Az Y valószínűségi változó, amelyre E(Y) véges és legyen A1 ⊂ A2 ⊂ · · · ⊂ F egy szűrés. Továbbá, legyen X_n = E(Y|An). Ekkor X_n An-mérhető és

|X_n|=|E(Y|An)| ≤E(|Y| |An),

amelyből

E(|X_n|)≤E(E(|Y| |An)) =E(|Y|)<∞. A feltételes várható érték torony tulajdonsága alapján pedig

E(X_n+1|An) =E(E(Y|An+1)|An) =E(Y|An) =X_n. Tehát(X_n,An) martingál.

4.33. ÁLLÍTÁS. Ha (X_n,An) martingál, akkor E(X₁) =E(X₂) =. . . .

4.34. ÁLLÍTÁS. Ha (X_n,An) martingál, akkor (X_n, σ(X₁, X₂, . . . , X_n)) is martingál.

4.35. Példa. Legyen X_n a szimmetrikus bolyongás, azaz X_n =Y₁+Y₂+· · ·+Y_n,

ahol azY₁, Y₂, . . . független, azonos eloszlású valószínűségi változók sorozata úgy, hogy

P(Y_n =−1) =P(Y_n = 1) = 1 2, ekkor (X_n²−n, σ(Y₁, Y₂, . . . , Y_n)) martingál.

Bizonyítás. Az X_n² −n = (Y₁ + Y₂ + · · · + Y_n)² − n egy függvénye az Y₁, Y₂, . . . , Y_n valószínűségi változóknak, így mérhetőσ(Y₁, Y₂, . . . , Y_n)-re néz-ve. Továbbá

|X_n| ≤ |Y₁|+|Y₂|+· · ·+|Y_n|=n.

Tehát adódik, hogy E(

X_n²−n

)≤E(X_n²) +n≤n²+n <∞. Legyen An =σ(Y₁, Y₂, . . . , Y_n),ekkor

E(X_n+1² |An) =E(Y_n+1² + 2Y_n+1X_n+X_n²|An) =

=E(Y_n+1² |An) + 2E(Y_n+1X_n|An) +E(X_n²|An) =

=E(Y_n+1² ) + 2X_nE(Y_n+1) +X_n²=

=1 +X_n².

TehátE(X_n+1² −1−n|An) =X_n²−n.

4.36. Definíció. AzX₁, X₂, . . . valószínűségi változó sorozat szupermartin-gál (szubmartinszupermartin-gál) az A1 ⊂ A2 ⊂ . . . szűrésre nézve, ha bármely n ∈ N esetén

1. E(X_n) véges, azaz integrálható, 2. Xn An-mérhető, azaz σ(Xn)⊂ An,

3. P(E(X_n+1|An)≤X_n) = 1 (P(E(X_n+1|An)≥X_n) = 1).

4.37. Megjegyzés. Ha (X_n,An)martingál, akkor (X_n²,An)szubmartingál.

4.38. Példa. Legyen az Y₁, Y₂, . . . valószínűségi változó sorozat véges vár-ható értékkel és A1 ⊂ A2⊂ · · · ⊂ F egy szűrés. Legyen

X_n =

n

X

i=1

(E(Y_i|Ai)−E(Y_i|Ai−1)) és A0 ={F,∅},

ekkor (X_n,An) martingál. Speciális esete, amikor a valószínűségi változók függetlenek és An =σ(Y₁, Y₂, . . . , Y_n),ekkor

X_n =

n

X

i=1

(Y_i−E(Y_i)).

Tehát független nulla várható értékű valószínűségi változók összege martin-gál.

4.39. Példa. Legyen az Y₁, Y₂, . . . független valószínűségi változó sorozat véges, nemnulla várható értékkel, ekkor

X_n =

n

Y

i=1

Y_i

E(Y_i), σ(Y₁, Y₂, . . . , Y_n)

!

martingál.

4.40. Példa. (Kvíz) Egy játék során egy kérdésre a válaszpvalószínűséggel jó éssösszeg nyerhető. Rossz válasz esetén mindent elveszítünk. Tegyük fel, hogy a kérdésekre egymástól függetlenül adjuk meg a választ. Vezessük be a következő jelöléseket:

X_n a nyeremény az n-edik kérdésig bezárólag.

Y_i=

(1, ha jó a válasz az i-edik kérdésre, 0, ha rossz a válasz az i-edik kérdésre,

és An =σ(Y₁, Y₂, . . . , Y_n),ekkor egy ideig növekszik, majd csökken.

4.41. Példa. (Fogadás) Legyen X₀ a kezdő tőke. Az a₁, a₂, . . . , (0≤a_i ≤ 1) a stratégia és X_n jelölje a játékos pillanatnyi tőkéjét az n-edik játék (lé-pés) után. A játék menete: Az(n+ 1)-edik játszmában a játékos kockáztatja a pillanatnyi tőkéjének az a_n+1-ed részét a bank azonos tőkéjével szemben.

Tegyük fel, hogy a játszmák függetlenek és a játékos mindegyikben p való-színűséggel nyer, azaz azaz az átlagos nyeremény:

E(X_n+1|An) =E(X_n(1+Y_n+1a_n+1|An) =X_nE(1+a_n+1Y_n+1) =X_n(1+a_n+1(2p−1)).

Tehát

(Xn,An) −







szubmartingál, hap >0.5, martingál, hap= 0.5, szupermartingál, hap <0.5.

4.5. Sztochasztikus folyamatok

4.42. Definíció. Legyen adva egy (Ω,A, P) valószínűségi mező és egy tet-szőlegesT (index)halmaz. Valószínűségi változóknak az(Ω,A, P) valószínű-ségi mezőn definiált és aT halmaz elemeivel indexelt{X_t,t∈T}rendszerét sztochasztikus folyamatnak nevezzük.

4.43. Definíció. Adott aT halmaz és legyen a T halmaz minden {t₁, . . . , t_n} ⊂T

részhalmazához egy ezen halmaz elemeivel indexelt F_t1,...,tn(x_t1, . . . , x_tn) el-oszlásfüggvény hozzárendelve. A véges dimenziós eloszlások ezen rendszerét kompatibilisnek nevezzük, ha tetszőleges véges {t₁, . . . , t_n} ⊂T halmazra

F_t1,...,tn(x_t1, . . . , x_tn) =F_{t1,...,tn,tn+1,...,tn+m}(x_t1, . . . , x_tn,∞, , . . . ,∞), ahol

F_{t1,...,tn,tn+1,...,tn+m}(x_t1, . . . , x_tn,∞, , . . . ,∞) (4.9)

= lim

x_tn+1→∞· · · lim

x_tn+m→∞F_t1,...,tn(x_t1, . . . , x_tn, x_tn+1, . . . , x_tn+m), és tetszőleges{t₁, . . . , t_n} ⊂T halmazra és annak tetszőleges{t_π(1), . . . , t_π(n)} permutációjára

F_t1,...,tn(x_t1, . . . , x_tn) =F_{tπ(1),...,tπ(n)}(x_tπ(1), . . . , x_tπ(n)).

4.44. TÉTEL. (Kolmogorov) Adott egy T halmaz, valamint F_t1,...,tn(x_t1, . . . , x_tn)

véges dimenziós eloszlásfüggvényeknek egy a T halmaz {t₁, . . . , t_n} ⊂T véges részhalamazaival indexelt kompatibilis rendszere, ekkor létezik egy {X_t, t ∈ T} sztochasztikus folyamat úgy, hogy minden {t₁, . . . , t_n} ⊂T véges halmaz-ra az (X_t1, . . . , X_tn) véletlen vektor eloszlásfüggvénye az F_t1,...,tn(x_t1, . . . , x_tn) eloszlásfüggvény.

4.45. Definíció. ω∈Ω esetén az X(·, ω) függvényttrajektóriának (realizá-ciónak) nevezzük.

A következőkben néhány speciális folyamat fogalmát adjuk meg.

4.46. Definíció. Egy folyamat Gauss-folyamat, ha minden véges dimenziós eloszlás Gauss, azaz normális.

4.47. Definíció. Az {X_t, t∈T} Markov-folyamat,ha

P(X_tn+1 < x_n+1|X_tn) =x_n) =P(X_tn+1 < x_n+1|X_t1 =x₁, . . . , X_tn = x_n), (4.10) ahol t₁ < t₂ <· · ·< t_n < t_n+1 tetszőleges (t_i∈T).

4.48. Megjegyzés. Ilyen folyamat például a Poisson-folyamat, a Wiener-folyamat (Brown-mozgás) stb.

4.49. Definíció. Az {X(t), t≥0}számláló folyamat, ha 1. N(0) = 0.

2. N(t)csak nem-negatív egész értékeket vesz fel.

3. Ha s < t,akkor N(s)≤N(t).

4. N(t)−N(s)az (s, t]intervallumban bekövetkező események száma.

4.6. Stacionárius folyamatok

Legyen {X(t), t ∈ T} sztochasztikus folyamat, amelyet stacionáriusnak ne-vezünk, ha

(X(t₁+h), X(t₂+h), . . . , X(t_n+h)), n∈N, t₁< t₂<· · · < t_n, (4.11) n-dimenziós eloszlása független h-tól. Szokás szigorúan stacionáriusnak is nevezni.

Egy folyamatot gyengén stacionáriusnak nevezünk, ha

E(X(t)) =m, m∈R, (4.12)

C(s, s+t) =R(t) =cov(X(s+t), X(s)), (4.13) azaz a várható érték konstans és a kovariancia függvény csak az eltolástól (késéstől) függ.

4.50. Megjegyzés. Négyzetesen integrálható stacionárius folyamat gyen-gén stacionárius is.

4.51. Definíció. Az{X_t, t≥0}folyamatotOrnstein-Uhlenbeck folyamatnak nevezzük, ha Gauss-folyamat és

E(X(t)) = 0, C(s, t) =e^−γ|t−s|, ahol γ >0 és X₀ ∼N(0,1).

4.1. ábra. Ornstein-Uhlenbeck folyamat trajektóriái

A kovarianciafüggvény reprezentálható, mint Fourier transzformált R(t) =

Z+∞

−∞

e^ixtdF(x), (4.14)

ahol azF függvényt spektrál eloszlásfüggvénynek nevezzük.

Jellemző tulajdonságai:

1. Szimmetria: dF(x) =dF(−x).

2. Monotonitás: hax < y, akkor F(x)≤F(y).

3. Korlátosság: F(+∞)−F(−∞) =R(0)<∞.

4.52. Megjegyzés. F egy additív konstanstól eltekintve meghatározott, ezért gyakranF(−∞) = 0.

Ha F abszolút folytonos, akkor F(x) =

Zx

−∞

f(s)ds, (4.15)

és ekkor a spektrumot abszolút folytonosnak nevezzük ésf a spektrál sűrű-ségfüggvény.

A

λ_k = Z+∞

−∞

x^kdF(x) (4.16)

mennyiségetk-adik spektrál momentumnak nevezzük.

4.53. Megjegyzés. Az F szimmetriája miatt minden páratlan momentum 0, míg a párosak lehetnek végesek vagy végtelenek. A spektrál momentumok végessége összekapcsolható a folyamat simaságával. Mivel

E((X(s+t)−X(s))²) = 2(R(0)−R(t)), (4.17) ezért a folytonosság kifejezhető a kovariancia függvénnyel. Rögtön adódik, hogyX(t+h)→ X(t)négyzetes középben, amint h→ 0, ha R folytonos a nullánál. AX(t)stacionárius sztochasztikus folyamat realizációi folytonosak, ha

R(t) =R(0)− O

|t|

|ln|t||^q

, t→0, q >3. (4.18) 4.54. TÉTEL. Legyen 0 = t₀ < t₁ < · · · < t_n = T egy felosztása a [0, T] intervallumnak, ekkor

max(tklim−tk−1)→0

X[X(t_k)−X(t_k−1)]² =σ_w²T (1 valószínűséggel). (4.19)

Bármely stacionárius kovariancia függvény esetén létezik egy konstans szó-rásnégyzet, amelyre

R(t) =σ²̺(t), (4.20)

ahol ̺(t) a korreláció függvény, amely általánosan

̺(s, s+t) = cov(X(s+t), X(s))

pcov(X(s), X(s))cov(X(s+t), X(s+t)). (4.21)

4.2. ábra. Izotróp felület

4.55. Definíció. A stacionárius véletlen folyamat izotróp, ha a kovariancia függvény csak a távolságtól függ, azaz

R(t, s) =C(τ), (4.22)

ahol τ =d(t, s).

4.3. ábra. Anizotróp felület

4.56. Megjegyzés. d(t, s) a metrika a folyamat indexhalmazán. Pl. euk-lideszi norma. Izotróp mezőket akkor alkalmazunk, ha forgatás és tükrözés invariáns esettel állunk szemben. Előnye, hogy elegendő egy profilogram a teljes leíráshoz.

4.57. Definíció. A stacionárius véletlen folyamat anizotróp, ha a korreláció függvény csak a távolságtól függ, azaz

̺(t, s) =̺(τ), (4.23)

ahol τ =||t−s||_K és ||t||_K =√

t^TKt egy K pozitív szemidefinit mátrixszal.

4.58. TÉTEL. Az anizotróp korrelációs függvény̺(||t−s||_K)pozitív definit Rⁿ-ben, ha̺(τ)pozitív definit izotrópRⁿ-ben ésK egy szimmetrikus, pozitív szemidefinitn×n-mátrix.

4.59. Megjegyzés. A ||t−s||_K norma a folyamat indexhalmazán, amely ellipszoid szimmetriát biztosít. HaK egységmátrix visszakapjuk az izotróp esetet. Anizotróp esetben becsülnünk kell a K elemeit is. Az ilyen típusú leírás megkönnyíti az abrazív befejező megmunkálások esetén az egységes leírást és a szimulációt. Megmutatja, hogy anizotróp felületek esetén miért szükséges a több különböző irányú profilogram.

5. fejezet

Markov-láncok, folyamatok

5.1. Markov-láncok

5.1. Definíció. A véges vagy megszámlálhatóan végtelen állapotterű Markov-folyamatot Markov-láncnak nevezzük.

A Markov-lánc jellemzése (leírása) azt jelenti, hogy megadjuk, mely időpon-tokban milyen valószínűséggel melyik állapotban van. Legyenek a Markov-lánc állapotai azE₁, E₂, . . . , E_k , ekkorX_tn =ijelöli azt, hogy a Markov-lánc a t_n időpontban az E_i állapotban van. Az egyszerűség kedvéért az E_i álla-potot röviden az i állapotnak fogjuk hívni. Így a definíciónk ekvivalens a következővel.

5.2. ÁLLÍTÁS. Legyen X_n Markov-lánc, ekkor tetszőleges t₁ < t₂ < . . . <

t_n < t_n+1 és i₁, i₂, . . . , i_n, i_n+1 esetén P X_tn+1 =i_n+1

X_t1 =i₁, X_t2 =i₂, . . . , X_tn−1 =i_n−1, X_tn =i_n

=

=P X_tn+1 =i_n+1|X_tn =i_n .

Ha a diszkrét t_k időpontokban a Markov-lánc állapotátX_tk helyett röviden X_k jelöli, akkor a fenti állítás (a Markov tulajdonság) a következő egyszerűbb alakban írható le:

P(X_n+1=i_n+1|X₁ =i₁, X₂ =i₂, . . . , X_n−1 =i_n−1, X_n =i_n) =

=P (X_n+1= i_n+1|X_n =i_n).

Az állítás azt hangsúlyozza, hogy a Markov-lánc jövőbeli viselkedésére vo-natkozó összes információnk az utolsó megfigyelt állapotban van.

A diszkrét idejű Markov-láncot úgy tekintjük, hogy mindegyik lehetséges idő-pontban (lépésben) állapotot változtat (megengedve azt is, hogy ugyanabban az állapotban marad, amelyikben volt). Azn-edik időpontban azi-edik álla-potból azn+ 1-edik időpontban aj-edik állapotba való átmenet (feltételes) valószínűsége

P_ij^(n,n+1)=P(X_n+1 =j|X_n =i).

Az ezen valószínűségekből képzett mátrixot nevezzük (egylépéses) átmeneti valószínűség mátrixnakP^(n,n+1).

5.3. Definíció. A

P^(n,n+m) = [P(X_n+m=j|X_n = i)]

mátrixotm-lépéses átmeneti valószínűség mátrixnak nevezzük.

Az egylépéses átmeneti valószínűség mátrixok ismeretében meghatározhatjuk

Az egylépéses átmeneti valószínűség mátrixok ismeretében meghatározhatjuk

In document Sztochasztikus modellezés (Pldal 108-0)