4. Feltételes várható érték, folyamatok 119
4.6. Stacionárius folyamatok
Legyen {X(t), t ∈ T} sztochasztikus folyamat, amelyet stacionáriusnak ne-vezünk, ha
(X(t1+h), X(t2+h), . . . , X(tn+h)), n∈N, t1< t2<· · · < tn, (4.11) n-dimenziós eloszlása független h-tól. Szokás szigorúan stacionáriusnak is nevezni.
Egy folyamatot gyengén stacionáriusnak nevezünk, ha
E(X(t)) =m, m∈R, (4.12)
C(s, s+t) =R(t) =cov(X(s+t), X(s)), (4.13) azaz a várható érték konstans és a kovariancia függvény csak az eltolástól (késéstől) függ.
4.50. Megjegyzés. Négyzetesen integrálható stacionárius folyamat gyen-gén stacionárius is.
4.51. Definíció. Az{Xt, t≥0}folyamatotOrnstein-Uhlenbeck folyamatnak nevezzük, ha Gauss-folyamat és
E(X(t)) = 0, C(s, t) =e−γ|t−s|, ahol γ >0 és X0 ∼N(0,1).
4.1. ábra. Ornstein-Uhlenbeck folyamat trajektóriái
A kovarianciafüggvény reprezentálható, mint Fourier transzformált R(t) =
Z+∞
−∞
eixtdF(x), (4.14)
ahol azF függvényt spektrál eloszlásfüggvénynek nevezzük.
Jellemző tulajdonságai:
1. Szimmetria: dF(x) =dF(−x).
2. Monotonitás: hax < y, akkor F(x)≤F(y).
3. Korlátosság: F(+∞)−F(−∞) =R(0)<∞.
4.52. Megjegyzés. F egy additív konstanstól eltekintve meghatározott, ezért gyakranF(−∞) = 0.
Ha F abszolút folytonos, akkor F(x) =
Zx
−∞
f(s)ds, (4.15)
és ekkor a spektrumot abszolút folytonosnak nevezzük ésf a spektrál sűrű-ségfüggvény.
A
λk = Z+∞
−∞
xkdF(x) (4.16)
mennyiségetk-adik spektrál momentumnak nevezzük.
4.53. Megjegyzés. Az F szimmetriája miatt minden páratlan momentum 0, míg a párosak lehetnek végesek vagy végtelenek. A spektrál momentumok végessége összekapcsolható a folyamat simaságával. Mivel
E((X(s+t)−X(s))2) = 2(R(0)−R(t)), (4.17) ezért a folytonosság kifejezhető a kovariancia függvénnyel. Rögtön adódik, hogyX(t+h)→ X(t)négyzetes középben, amint h→ 0, ha R folytonos a nullánál. AX(t)stacionárius sztochasztikus folyamat realizációi folytonosak, ha
R(t) =R(0)− O
|t|
|ln|t||q
, t→0, q >3. (4.18) 4.54. TÉTEL. Legyen 0 = t0 < t1 < · · · < tn = T egy felosztása a [0, T] intervallumnak, ekkor
max(tklim−tk−1)→0
X[X(tk)−X(tk−1)]2 =σw2T (1 valószínűséggel). (4.19)
Bármely stacionárius kovariancia függvény esetén létezik egy konstans szó-rásnégyzet, amelyre
R(t) =σ2̺(t), (4.20)
ahol ̺(t) a korreláció függvény, amely általánosan
̺(s, s+t) = cov(X(s+t), X(s))
pcov(X(s), X(s))cov(X(s+t), X(s+t)). (4.21)
4.2. ábra. Izotróp felület
4.55. Definíció. A stacionárius véletlen folyamat izotróp, ha a kovariancia függvény csak a távolságtól függ, azaz
R(t, s) =C(τ), (4.22)
ahol τ =d(t, s).
4.3. ábra. Anizotróp felület
4.56. Megjegyzés. d(t, s) a metrika a folyamat indexhalmazán. Pl. euk-lideszi norma. Izotróp mezőket akkor alkalmazunk, ha forgatás és tükrözés invariáns esettel állunk szemben. Előnye, hogy elegendő egy profilogram a teljes leíráshoz.
4.57. Definíció. A stacionárius véletlen folyamat anizotróp, ha a korreláció függvény csak a távolságtól függ, azaz
̺(t, s) =̺(τ), (4.23)
ahol τ =||t−s||K és ||t||K =√
tTKt egy K pozitív szemidefinit mátrixszal.
4.58. TÉTEL. Az anizotróp korrelációs függvény̺(||t−s||K)pozitív definit Rn-ben, ha̺(τ)pozitív definit izotrópRn-ben ésK egy szimmetrikus, pozitív szemidefinitn×n-mátrix.
4.59. Megjegyzés. A ||t−s||K norma a folyamat indexhalmazán, amely ellipszoid szimmetriát biztosít. HaK egységmátrix visszakapjuk az izotróp esetet. Anizotróp esetben becsülnünk kell a K elemeit is. Az ilyen típusú leírás megkönnyíti az abrazív befejező megmunkálások esetén az egységes leírást és a szimulációt. Megmutatja, hogy anizotróp felületek esetén miért szükséges a több különböző irányú profilogram.
5. fejezet
Markov-láncok, folyamatok
5.1. Markov-láncok
5.1. Definíció. A véges vagy megszámlálhatóan végtelen állapotterű Markov-folyamatot Markov-láncnak nevezzük.
A Markov-lánc jellemzése (leírása) azt jelenti, hogy megadjuk, mely időpon-tokban milyen valószínűséggel melyik állapotban van. Legyenek a Markov-lánc állapotai azE1, E2, . . . , Ek , ekkorXtn =ijelöli azt, hogy a Markov-lánc a tn időpontban az Ei állapotban van. Az egyszerűség kedvéért az Ei álla-potot röviden az i állapotnak fogjuk hívni. Így a definíciónk ekvivalens a következővel.
5.2. ÁLLÍTÁS. Legyen Xn Markov-lánc, ekkor tetszőleges t1 < t2 < . . . <
tn < tn+1 és i1, i2, . . . , in, in+1 esetén P Xtn+1 =in+1
Xt1 =i1, Xt2 =i2, . . . , Xtn−1 =in−1, Xtn =in
=
=P Xtn+1 =in+1|Xtn =in .
Ha a diszkrét tk időpontokban a Markov-lánc állapotátXtk helyett röviden Xk jelöli, akkor a fenti állítás (a Markov tulajdonság) a következő egyszerűbb alakban írható le:
P(Xn+1=in+1|X1 =i1, X2 =i2, . . . , Xn−1 =in−1, Xn =in) =
=P (Xn+1= in+1|Xn =in).
Az állítás azt hangsúlyozza, hogy a Markov-lánc jövőbeli viselkedésére vo-natkozó összes információnk az utolsó megfigyelt állapotban van.
A diszkrét idejű Markov-láncot úgy tekintjük, hogy mindegyik lehetséges idő-pontban (lépésben) állapotot változtat (megengedve azt is, hogy ugyanabban az állapotban marad, amelyikben volt). Azn-edik időpontban azi-edik álla-potból azn+ 1-edik időpontban aj-edik állapotba való átmenet (feltételes) valószínűsége
Pij(n,n+1)=P(Xn+1 =j|Xn =i).
Az ezen valószínűségekből képzett mátrixot nevezzük (egylépéses) átmeneti valószínűség mátrixnakP(n,n+1).
5.3. Definíció. A
P(n,n+m) = [P(Xn+m=j|Xn = i)]
mátrixotm-lépéses átmeneti valószínűség mátrixnak nevezzük.
Az egylépéses átmeneti valószínűség mátrixok ismeretében meghatározhatjuk azm-lépéses átmeneti valószínűség mátrixot is.
5.4. ÁLLÍTÁS. (Chapman-Kolmogorov-tétel)Azm-lépéses átmeneti va-lószínűség mátrix tetszőleges r, (1≤r < m) esetén előállítható az r és az (m−r)-lépéses átmeneti valószínűség mátrixok segítségével
Pij(n,n+m) =
∞
X
k=0
Pik(n,n+r)Pkj(n,n+m−r). (5.1) Bizonyítás. Aziállapotból indulvarlépés múlva egy és csak egy állapotban lesz a folyamat, így alkalmazhatjuk a teljes valószínűség tételét.
5.5. ÁLLÍTÁS. Legyen P(n,n+1)= h
Pij(n,n+1)i
egy Markov-lánc átmeneti va-lószínűség mátrixa, akkor
X
j
Pij(n,n+1)= 1.
Bizonyítás. Mivel a Markov-lánc minden egyes tn időpillanatban átmegy egy (nem feltétlenül különböző) j állapotba, így az Xn+1 = j események teljes eseményrendszert alkotnak azXn =i feltétel mellett, tehát
X
j
P(Xn+1 =j|Xn =i) =X
j
Pij(n,n+1)= 1.
5.6. Definíció. Ha az átmeneti valószínűség mátrix független az időtől (az átmeneti valószínűségek stacionáriusak), akkor a Markov-láncot homogén Markov-láncnak nevezzük
Pij =P(Xn+1 =j|Xn =i).
Mivel homogén Markov-láncok esetében az egylépéses átmeneti valószínűség mátrix nem függ az időponttól, így a Pij(n,n+1) helyett az egyszerűbb Pij je-lölést használjuk, valamint az egylépéses átmeneti valószínűség mátrixot is P(n,n+1) helyett röviden P-vel jelöljük.
5.7. ÁLLÍTÁS. Homogén Markov-láncok esetében a Chapman-Kolmogorov-tétel szerint azm-lépéses átmeneti valószínűség mátrix előáll, mint az egylé-péses átmeneti valószínűség mátrix m-edik hatványa
h
Pij(n,n+m)i
=Pm.
Bizonyítás. Azr= 1esetben a Chapman-Kolmogorov-tétel azt állítja, hogy az m-lépéses átmeneti valószínűség mátrix előáll, mint az egylépéses átme-neti valószínűség mátrix és az(m−1)-lépéses átmeneti valószínűség mátrix szorzata. Innen teljes indukcióval kapjuk az állításunkat.
5.8. Példa. (Keresd a bűnözőt!) Bevezető példánk legyen egy rendőrségi probléma. Keresnek egy bűnözőt, aki a három barátnője valamelyikénél buj-kál. Naponta maximum egy alkalommal változtatja a helyét a(5.2)formula szerint. Jelölje Xn = i azt az eseményt, hogy az n-edik napon az i-edik barátnőjénél van.
P(Xn+1 =j|Xn =i) =Pij,
3
X
j=1
Pij = 1. (5.2)
Xn nyilvánvalóan Markov folyamat, és mivel három lehetséges állapota van, tehát Markov-lánc. MivelT = 1,2,3, . . ., így diszkrét idejű Markov-lánc. Ha sem a bűnöző nem unja meg a barátnőit, sem azok őt, tehát a preferenciák változatlanok, akkor
P(Xn+1=in+1|X1 =i1, X2 =i2, . . . , Xn−1 =in−1, Xn =in) =
=P (Xn+1= in+1|Xn =in), tehát a Markov-lánc homogén, vagyis időben stacionárius
P(Xn+1=j|Xn =i) =Pij,
3
X
j=1
Pij = 1.
5.9. Példa. (Független valószínűségi változók) Legyen a Markov-lánc n = 1,2,3, . . .időpontban felvettXnértéke független, azonosX eloszlású diszkrét valószínűségi változó
Ekkor az átmeneti valószínűség mátrix
P =
azaz az átmeneti valószínűség mátrix minden sora megegyezik. (És ha az át-meneti valószínűség mátrix minden sora megegyezik, akkor aj-edik állapot-ba való átmenet (feltételes) valószínűsége független a Markov-lánc jelenlegi állapotától.)
5.10. Példa. (Diszkrét kiszolgálási rendszerek) Egy kiszolgálási egység (pl.
egy borbély, egy online rendszer szervere) egy időegység alatt egy igényt (ven-déget, kérést) szolgál ki. Minden időegység alatt ugyanolyan eloszlás szerint
érkeznek igények (vendégek, kérések). Legyen az időegység alatt beérkező igények száma egy (az előzményektől független) Y valószínűségi változó
P(Y =k) =pk (k = 0,1,2,3, . . .)
Ha nincs igény, akkor a kiszolgáló egység vár, ha a kiszolgáló egység foglalt, akkor az igények várnak, beállnak a sorba. Jelölje azXn azn-edik időegység alatt a sorban tartózkodók számát. Egy időegység alatt a sorban állók száma csökken eggyel (ha volt kiszolgálni való igény) és nő a beérkezők számával, így az átmeneti valószínűség mátrix
P =
5.11. Példa. (Véletlen bolyongás) Nagyon sok fizikai, műszaki, gazdasági jelenséget jól lehet modellezni véletlen bolyongás segítségével. Az egydimen-ziós véletlen bolyongásnál egy pont mozog a számegyenes origójából kiindul-va. Mindentnidőpontbanp(0< p <1)valószínűséggel egy egységgel jobbra, q= 1−pvalószínűséggel balra mozdul el a pont. (A szemléletesség kedvéért ezt szokták a részeg tengerész problémájának nevezni). JelöljeXn az n-edik időpontban a pont helyzetét (koordinátáját). Nyilvánvaló, hogyXn diszkrét idejű homogén Markov-lánc, mivel a pont n+ 1-edik időpontbeli helyzete csak a közvetlenül megelőző állapottól függ (és persze a p értékétől). Az állapottér most az egész számok halmaza(i=. . . ,−2,−1,0,1,2, . . .).Mivel
így az átmeneti valószínűség mátrixa
Pontosan ezzel a modellel írható le például egy korlátlan hitellel rendelkező játékos vagyoni helyzete n játék után, ha egy végtelen tőkéjű ellenfél ellen játszik, és minden játékbanp valószínűséggel egy egységet nyer és q= 1−p valószínűséggel egy egységet veszít.
5.12. Példa. Egy véges tőkéjű játékos egy végtelen tőkéjű ellenféllel játszik és minden játékbanpvalószínűséggel egy egységet nyer és q= 1−p valószí-nűséggel egy egységet veszít, és nincs hitel. JelöljeXn azn-edik időpontban a játékosunk vagyonát. Xn ismét diszkrét idejű homogén Markov-lánc, mivel a játék múltja csak a jelen állapoton keresztül befolyásolja a következő állapo-tot. Az állapottér ekkor a nem-negatív egész számok halmaza(i= 0,1,2, . . .)
Az átmeneti valószínűség mátrix tehát
P =
Ezt a Markov-láncot tekinthetjük egy úgynevezett balról elnyelő falú véletlen bolyongásnak, azaz a Markov-lánc állapotai a számegyenesen a nem-negatív egész számok, éspvalószínűséggel egyet lép jobbra,q= 1−pvalószínűséggel egyet lép balra, kivéve ha a nullában van, mert akkor ott marad. Ennek általánosítása az alkalmazások szempontjából fontos elnyelő falú véletlen bo-lyongás:
5.13. Példa. Az elnyelő falú véletlen bolyongás esetében a Markov-lánc ál-lapotai a0≤n≤begész számok a számegyenesen, éspvalószínűséggel egyet lép jobbra,q= 1−pvalószínűséggel egyet lép balra, kivéve ha a két végpont valamelyikében van, mert akkor ott marad. Az átmeneti valószínűség mátrix
P =
5.14. Példa. (Sikersorozatok) Végezzünk el egymás után és egymástól füg-getlenül egy Bernoulli-kísérletsorozatot. A kísérlet két lehetséges kimenetele legyen pvalószínűséggelS siker ésq= 1−pvalószínűséggel B balsiker. Azt mondjuk, hogyn hosszúságú sikersorozatunk van, ha a B esemény bekövet-kezése után n alkalommal az S siker következett be. Legyen Xn az n-edik időpontban a sikersorozat hossza. (Például aBBSBSSBkísérletsorozat ese-ténX1 = 0, X2 = 0, X3 = 1, X4 = 0, X5 = 1, X6= 2, X7 = 0.) A sikersorozat hossza vagypvalószínűséggel eggyel nő , vagyq= 1−pvalószínűséggel0lesz (marad), tehát homogén Markov-lánc és az átmeneti valószínűség mátrix
P =
Jelölje egy Markov-lánc kezdeti valószínűség-eloszlását, azaz annak a valószí-nűségét, hogy a kiinduló időpillanatban a Markov-lánc a k-adik állapotban van:
Π(0)= (P (X0 = 1), P(X0 = 2), P(X0= 3), . . .). Hasonlóan jelölje ak-adik lépés után a folyamat eloszlását
Π(k)= (P(Xk = 1), P(Xk = 2), P(Xk = 3), . . .).
A kezdeti valószínűség-eloszlás és az átmeneti valószínűség mátrix segítségé-vel meg tudjuk határozni a Markov-lánc valószínűség-eloszlását az első lépés után.
5.15. ÁLLÍTÁS. Legyen P egy Markov-lánc átmeneti valószínűség mátrixa ésΠ(0)a kezdeti valószínűség-eloszlás, akkor a Markov-láncΠ(1) valószínűség-eloszlása az első lépés után
Π(1)= Π(0)P.
Bizonyítás. Ha a Markov-lánc lehetséges állapotai a0,1,2,3, . . . , akkor az X0 = 0, X0 = 1, X0 = 2, X0 = 3, . . . események teljes eseményrendszert alkotnak, így a teljes valószínűség tétele értelmében
P(X1 =j) = 5.16. Példa. (Keresd a bűnözőt! - folytatás) Ha tudjuk, hogy a bűnöző a kezdeti napon milyen Π(0) valószínűség-eloszlás szerint választja az i-edik barátnője lakását búvóhelynek, akkor az átmeneti valószínűség mátrix segí-ségével meghatározhatjuk annak aΠ(1) valószínűség-eloszlását, hogy hol lesz a következő napon. Legyen például az átmeneti valószínűség mátrix
P =
és a kezdeti eloszlás Akkor az első "váltás" utáni valószínűség eloszlás
Π(1)= Π(0)·P =
= (0.3542 0.2917 0.3542). A második nap végén
Π(2) = Π(1)·P = Π(0)·P2 = (0.3628 0.2743 0.3628). A negyedik nap után a valószínűség eloszlás
Π(4) = Π(0)·P4 = (0.3636 0.2727 0.3636), míg például a tizedik nap után
Π(10) = Π(0)·P10 = (0.3636 0.2727 0.3636).
Azaz már (4 tizedes pontosságig) ugyanazt az eredményt kaptuk. Úgy néz ki, hogy egy időtől független ún. stacionárius eloszlást kapunk. Most annak a feltételeit szeretnénk vizsgálni, hogy mikor garantált az ilyen stacionárius eloszlás.
5.2. Állapotok osztályozása
Azt mondjuk, hogy a j állapot elérhető az i állapotból, ha véges számú lépésben pozitív az iállapotból aj állapotba kerülés valószínűsége, azaz ha van olyann, hogy a Pjin n-lépéses átmeneti valószínűség pozitív.
5.17. Definíció. Ha minden állapot elérhető minden állapotból, akkor a Markov-láncotirreducibilisnek nevezzük.
Például a 5.9 példa Markov-lánca irreducibilis, ha mindenpi pozitív, hiszen ekkor Pji1 =pi >0.
Ha az i és j állapotok kölcsönösen elérhetőek, azaz az i állapotból elérhető a j állapot és a j állapotból is elérhető az i állapot, akkor a két állapotot kapcsolódónak nevezzük és a következő jelölést használjuk:
i←→j.
5.18. ÁLLÍTÁS. A kapcsolódás reláció ekvivalencia reláció, azaz teljesül a következő három tulajdonság:
a) (reflexív) i←→i,
b) (szimmetrikus) ha i←→j, akkor j ←→i,
c) (tranzitív) ha i←→j, és j ←→k,akkor i←→k.
Bizonyítás. a) Mivel definíció szerint Pii0 = 1 , így minden állapot saját magával azonos osztályban van.
b) Nyilvánvaló, hogy hai←→j,azaz az i állapotból elérhető a j állapot és aj állapotból is elérhető az iállapot, akkor j ←→iis fennáll.
c) Ha i←→j, akkor van olyan n, hogy Pijn >0,és j ←→k miatt van olyan Az ekvivalencia reláció egy osztálybasorolást indukál, azonos osztályban van-nak a kapcsolódó elemek. Egy irreducibilis Markov-lánc elemei egyetlen tályt alkotnak. A nem irreducibilis Markov-láncok tehát két vagy több osz-tályra bomlanak szét. A 5.12 példában a nulla állapot alkot egy osztályt, míg az összes többi állapot egy másik osztályt. A 5.13 példában három osztály van: a0,bés {n: 0< n < b}. Mindkét példában látható, hogy lehetséges az egyik osztályból a másikba jutni, de vissza már nem lehet kerülni. A
P =
átmeneti valószínűség mátrixú Markov-lánc esetén viszont a két osztály ({1,2} és {3,4})
között már egyirányú átjárás sem lehetséges.
Igen érdekes annak a vizsgálata, hogy a Markov-lánc visszatér-e egy adott állapotába, és ha igen, akkor hány lépésen belül. A következő jelölés igen hasznos lesz ennek a kérdésnek a tárgyalásában.
5.19. Definíció. A Markov-lánc tetszőleges i állapota ésn > 0egész szám esetén jelölje fi(n) annak a valószínűségét, hogy pontosan n lépésben kerül előszörvissza a Markov-lánc az i állapotból azi állapotba.
Egy rögzített i állapot esetén jelölje Bk (k = 1,2, . . . , n) azt az eseményt, hogy a Markov-lánc pontosan a k-adik lépésben kerül először vissza az i állapotba és utána n−k lépésben megint visszatér (mindegy hányszor) az i állapotba. Használjuk azt a megállapodást, hogy Pii(0) = 1. Ekkor az az esemény, hogy a Markov-lánc az n-edik lépésben visszatér az i állapot-ba felbontható a diszjunkt Bk (k = 1,2, . . . , n) események összegére, így a Bk események definíciója miatt
P(Bk) =fi(k)Pii(n−k), (k= 1,2, . . . , n), így
Pii(n)=
n−1
X
k=1
fi(k)Pii(n−k)+fi(n), han > 1, és értelemszerűen
Pii(1)=fi(1), ha n= 1.
Így rekurzíve ki tudjuk számítani mindenn-re annak az fi(n) valószínűségét, hogy a Markov-lánc pontosan az n-edik lépésben kerül először vissza az i állapotba.
Annak az fi valószínűsége, hogy mindegy hány lépésben, de visszatér a Markov-lánc az iállapotba a teljes valószínűség tétele miatt
fi =
∞
X
k=1
fi(k).
5.20. Definíció. Hafi = 1,azaz1valószínűséggel véges sok lépésben vissza-tér a Markov-lánc az i állapotba, akkor az i állapotot visszatérő állapotnak nevezzük. Ha egy állapot nem visszatérő, akkor azt átmenetinek nevezzük.
Bizonyítás nélkül közöljük a következő tételt, amelyik a visszatérőség és az n-lépéses átmeneti valószínűség mátrix (átlója) elemei közti összefüggést adja meg.
5.21. TÉTEL. Egy i állapot akkor és csak akkor visszatérő, ha
∞
X
n=1
Pii(n) =∞.
Az előző egyenletbenPii(n) annak a valószínűsége, hogynlépésben a Markov-lánc visszatér aziállapotba. Azonban lehet, hogy többször is visszatér, így a (5.21) tételben pontosan a visszatérések számának a várható értéke szerepel.
Tehát a tételt úgy is átfogalmazhatjuk, hogy egyiállapot akkor és csak akkor visszatérő, ha a visszatérések számának a várható értéke végtelen.
Mivelj állapotból aj állapotba nem csak úgy lehet visszatérni, hogyn lépés-ben először átmegyünk aziállapotba, majd valahány lépésben visszatérünk azi állapotba és végül m lépésben átmegyünk azj állapotba, ezért
Pjj(n+m+r)≥
Innen viszont következik, hogy a P∞
n=1Pii(n) sor divergenciája maga után vonja aP∞
n=1Pjj(n) sor divergenciáját is ( és felcserélve az indexeket fordítva is következik). Tehát beláttuk az előző tétel következményét:
5.22. Következmény. Ha azi és a j állapotok kapcsolódóak, azaz i←→j, akkor vagy mindkettő visszatérő, vagy mindkettő átmeneti, tehát a visszaté-rőség osztálytulajdonság.
Ha azi állapot visszatérő állapot, azaz a Markov-lánc 1 valószínűséggel vé-ges számú lépésben visszatér az i állapotba, akkor van értelme az átlagos visszatérési időről beszélni:
5.23. Definíció. Az i visszatérő állapot átlagos visszatérési ideje a vissza-térések számának a várható értéke
mi =
∞
X
n=1
nfi(n).
5.24. Definíció. Egyivisszatérő állapototvisszatérő nulla állapotnak neve-zünk, ha az átlagos visszatérés ideje végtelen. Ha az átlagos visszatérés ideje véges, akkor az állapototpozitív visszatérő állapotnak nevezzük.
Tehát a visszatérő nulla állapot eseténfi = 1és mi=∞.
5.25. Példa. Tekintsük a 5.11 példában vizsgált bolyongást. Minden potból pozitív valószínűséggel elérhető bármely állapot, ezért az összes álla-pot egyetlen ekvivalenciaosztályt alkot. Mivel a visszatérőség osztálytulaj-donság, így elegendő egy állapotról (például a 0 állapotról) eldönteni, hogy viszatérő-e vagy sem. Nyilvánvalóan
P00(2n+1)= 0, (n= 1,2,3, . . .), Stirling-formulát felhasználvaP00(2n) közelítő értéke
P00(2n)≈ (pq)n22n
végtelen sor akkor és csak akkor divergens, hap=q= 1
2(ezt az esetet hívjuk egydimenziós szimmetrikus véletlen bolyongásnak). Tehát az egydimenziós szimmetrikus véletlen bolyongás esetén minden állapot visszatérő.
Kétdimenziós szimmetrikus véletlen bolyongásról beszélünk, ha a sík egész koordinátájú pontjain mozgó folyamat azonos 1
4 valószínűséggel mozdul el jobbra, balra, előre vagy hátra, míg háromdimenziós szimmetrikus véletlen bolyongás esetén a tér egész koordinátájú pontjain mozgó folyamat azonos 1
6 valószínűséggel mozdul el jobbra, balra, előre, hátra, lefele vagy felfelé. A
fentihez hasonló gondolatmenettel látható be, hogy a kétdimenziós szimmet-rikus véletlen bolyongás esetén minden pont visszatérő állapot, ezzel szemben a háromdimenziós szimmetrikus véletlen bolyongás esetén minden pont át-meneti állapot, tehát pozitív annak a valószínűsége, hogy nem tér vissza a jelenlegi állapotába.
5.26. Definíció. Egyiállapototdperiódusúállapotnak hívunk, ha aPii(n)>
0feltételt kielégítő nszámok legnagyobb közös osztójad.Ha d= 1, akkor az iállapotot aperiódikus állapotnak hívjuk.
5.27. ÁLLÍTÁS. Ha az i és a j állapotok kapcsolódóak, azaz i←→j, akkor mindkettő periódusa megegyezik, tehát a periódikusság is osztálytulajdonság.
Bizonyítás nélkül közöljük az irreducibilis Markov-láncokra vonatkozó követ-kező fontos tételt:
5.28. TÉTEL. Ha egy Markov-lánc irreducibilis, akkor a következő három tulajdonság közül pontosan egy teljesül a Markov-lánc állapotaira:
a) mindegyik állapot pozitív visszatérő állapot;
b) mindegyik állapot visszatérő nulla állapot;
c) mindegyik állapot átmeneti állapot.
5.29. Definíció. Egy diszkrét Markov-láncergodikus, ha irreducibilis, ape-riodikus és minden állapota pozitív visszatérő.
A (5.16) példában már láttuk, hogy a Markov-lánc n-edik lépés utáni Π(n) eloszlása "stabilizálódik".
5.30. Definíció. Egy diszkrét Markov-láncnak aΠ = (Π1,Π2,Π3, . . .) elosz-lás (Πi ≥0és P∞
i=1Πi = 1) stacionárius eloszlása, ha teljesül a
Π = ΠP (5.4)
mátrix egyenlet.
A (5.4) mátrix egyenlet egyenletrendszer formájában felírva a következő:
Πi =
∞
X
j=1
ΠjPji (i= 1,2,3, . . .).
5.31. Definíció. Egy Markov-láncnak aΠ = (Π1,Π2,Π3, . . .)eloszlás a ha-táreloszlása, ha léteznek a
n→∞lim Π(n)i = lim
n→∞P(Xn =i) = Πi (i= 1,2,3, . . .) határértékek.
A sorbanálláselmélet szempontjából fontosak az alábbi tételek, amelyek biz-tosítják a határeloszlás létezését, illetve a Markov-lánc lényeges tulajdonsá-gainak teljesülését.
5.32. TÉTEL. Ha az Xn homogén irreducibilis és aperiodikus Markov-lánc, akkor a kezdeti valószínűség eloszlástól függetlenül létezik a
Πi = lim
n→∞Π(n)i (i= 1,2,3, . . .)
határeloszlás. Ha a Markov-lánc állapotainak mindegyike pozitív visszatérő állapot, akkor a Markov-lánc ergodikus ésΠi >0 minden i esetén. Fennáll
Πi = 1
mi (i= 1,2,3, . . .),
(mi aziállapot visszatérési idejének a várható értéke), ésΠ = (Π1,Π2,Π3, . . .) stacionárius eloszlás, ahol Πi a
∞
X
i=1
Πi= 1, (5.5)
Πi=
∞
X
j=1
ΠjPji (i= 1,2,3, . . .) egyenletrendszer egyértelmű megoldása.
Ha a Markov-lánc állapotainak nem mindegyike pozitív visszatérő állapot (az-az vagy mindegyik visszatérő nulla vagy átmeneti állapot), akkorΠi= 0 min-den i esetén, és nem létezik stacionárius eloszlás.
A tétel első feléből következik, hogy ergodikus Markov-láncok esetén a ha-táreloszlások és a stacionárius eloszlások egybeesnek, ezeket az eloszlásokat egyensúlyi eloszlásoknak nevezzük. Amikor a sorbanállási feladatoknál a Markov-láncokat alkalmazzuk, akkor éppen ezek az eloszlások a legfonto-sabbak. Ezért lényegesek az alábbi tételek, amelyek feltételeket adnak az ergodikusságra nézve, azaz mikor lesz egyensúlyi eloszlás.
5.33. TÉTEL. Ha egy véges sok állapotú Markov-lánc irreducibilis és aperi-odikus, akkor ergodikus is.
5.34. TÉTEL. Egy pozitív, irreducibilis, aperiodikus Markov-lánc visszatérő és így ergodikus is, ha a
∞
X
j=1
Pjixj ≤xi−1
egyenlőtlenségrendszernek van olyan nemnegatív megoldása, melyre teljesül
a ∞
X
j=1
P0jxj < ∞ egyenlőtlenség.
5.35. TÉTEL. Egy pozitív, irreducibilis, aperiodikus Markov-lánc akkor és csak akkor visszatérő és így ergodikus is, ha a
∞
X
j=1
xjPji =xi
egyenletrendszernek létezik olyan nemnulla megoldása, amelyre teljesül a
∞
X
j=1
|xj|<∞
egyenlőtlenség.
5.36. Példa. 5.16 (Keresd a bűnözőt! - folytatás) Emlékeztetőül az átme-neti valószínűség mátrix
A Markov-lánc nyilvánvalóan irreducibilis és aperiodikus (meg persze véges sok állapotú), így a 5.33 tétel alapján ergodikus és létezik a határeloszlása,
amely egyúttal stacionárius eloszlás is. A (5.5) egyenletrendszer most
Ez azt jelenti, hogy ha a rendőrök nem ismerik a kezdeti eloszlást, akkor is pár nap múlva már igen jó közelítéssel ismerik az aznapi eloszlást. Említésre méltó, hogy aΠ = ( 4
11; 3 11; 4
11)stacionárius megoldás, hiszen
( 4
6. fejezet
Sorbanálláselmélet
6.1. Poisson folyamat
A független növekményű stacionárius folyamatok közül különösen haszno-sak lesznek számunkra azok a folyamatok, amelyeknél annak a valószínűsé-ge, hogy egy adott időintervallumban pontosan egy esemény következik be,
A független növekményű stacionárius folyamatok közül különösen haszno-sak lesznek számunkra azok a folyamatok, amelyeknél annak a valószínűsé-ge, hogy egy adott időintervallumban pontosan egy esemény következik be,