Az algoritmus c´elja, hogy line´aris kapcsolatot keressen a v´altoz´ok megfelel˝o f¨ugv´enyei k¨oz¨ott. Az algoritmus outputjai a k¨ovetkez˝o pontok 2-dimenzi´os plotjai:
• (yk,Ψ∗(yk)), k= 1, . . . , n
• (xkj,Φ∗j(xkj)), k = 1, . . . , n; j = 1, . . . , p
• (Ψ∗(yk),Pp
j=1Φ∗j(xkj)), k = 1, . . . , n
V´arhat´o, hogy az els˝o k´et esetben megkapjuk a v´altoz´ok optim´alis transzform´aci´oit, m´ıg az utols´o esetben line´aris ¨osszef¨ugg´es alakul ki, amennyiben a c´elf¨uggv´eny v´egs˝o
´ ert´eke
”kicsi”.
Pl. p = 1 esetben az Y ∼ aX modellben Ψ(Y) = lnY ´es Φ(X) = (lna)X jelenti a lineariz´al´o transzform´aci´ot, m´ıg tetsz˝olegesp-re az Y ∼X1a1· · · · ·Xpap un. multiplikat´ıv´ modellben a Ψ(Y) = lnY ill. Φ1(X1) =a1lnX1, . . . ,Φp(Xp) =aplnXp transzform´aci´ok fognak lineariz´alni.
3.5. Alkalmaz´ asok
• Egy 200 elem˝u mint´at gener´alunk. A f¨uggetlen, azonos eloszl´as´u (xk, yk) mintaele-mek a k¨ovetkez˝ok:
yk=ex3k+εk, k= 1, . . . ,200, ahol x3k ´esεk f¨uggetlen, standard norm´alis eloszl´as´uak.
Az 1. ´abra mutatja a gener´alt (xk, yk) koordin´at´aj´u pontokat (k = 1, . . . ,200).
A 2. ´abra a f¨ugg˝o v´altoz´o optim´alis (yk,Ψ∗(yk)) transzform´aci´oj´at mutatja, ami szemmel l´athat´oan logaritmikus.
A 3. ´abra a f¨uggetlen v´altoz´o optim´alis (xk,Φ∗j(xk)) transzform´aci´oj´at ´abr´azolja, ami harmadfok´u polinom.
V´eg¨ul a 4. ´abra a (Ψ∗(yk),Φ∗j(xk)) pontok plotja, amely k¨ozelebb ´all a line´arishoz, mint az eredeti (xk, yk) pontok plotja (k = 1, . . . ,200).
Az ACE-algoritmusban a sim´ıt´ashoz a legk¨ozelebbi szomsz´ed m´odszert haszn´altuk.
A p´elda, webes fel¨uleten is megtekinthet˝o.
http://calculus.hu/autograph/ace.html
Irodalomjegyz´ ek
[1] Bolla, M., Hilbert-terek line´aris oper´atorainak szingul´aris felbont´asa (optimumtu-lajdons´agok statisztikai alkalmaz´asai ´es numerikus m´odszerek),Alk. Mat. Lapok 87-88/3-4 (1987-88), 189–206.
[2] Bolla, M., Kr´amli, A., Statisztikai k¨ovetkeztet´esek elm´elete. Typotex, Budapest (2005).
[3] Breiman, L., Friedman, J., Estimating Optimal Transformations for Multiple Reg-ression and Correlation, J. Amer. Statist. Assoc. 80 (1985), 580–619.
[4] R´enyi, A., On Measures of Dependence, Acta Math. Acad. Sci. Hung. 10 (1959), 441–451.
[5] Riesz, F., Sz˝okefalvi-Nagy, B., Funkcion´alanal´ızis. Tank¨onyvkiad´o, Budapest (1988).
4. fejezet
Reproduk´ al´ o mag´ u Hilbert-terek
”az ˝Os vagyok, mely sokasodni foszlik:
ap´am- s any´amm´a v´alok boldogon, s ap´am, any´am maga is kett´e oszlik
s ´en lelkes Eggy´e ´ıgy szaporodom!”
(J´ozsef Attila: A Dun´an´al)
A Reproduk´al´o mag´u Hilbert-tereket a XX. sz. k¨ozep´en fedezt´ek fel ([1, 2, 6]), ´es az ut´obbi ´evtizedekben terjedtek el sz´eles k¨orben a t¨obbv´altoz´os statisztik´aban, nem-linearit´asok kezel´es´ere. L´enyeg¨uk, hogy adatainkat egy ´un. reproduk´al´o mag´u Hilbert-t´erbe (RMHT) lek´epezve a szok´asos line´aris faktor- ´es klaszteranal´ızis elj´ar´asok alka-lamazhat´ok ahelyett, hogy az eredeti t´erben nemline´aris m´odszereket hajtottunk volna v´egre. Magukat az adatokat nem is sz¨uks´eges lek´epezni, ehelyett egy ´un. magf¨uggv´ennyel oper´alunk.
Maga az elm´elet a Riesz–Fr´echet Reprezent´aci´os T´etel ([5,7, 8,9]) alkalmaz´asa.
4.1. Elm´ eleti h´ att´ er
4.1. Defin´ıci´o Legyen H Hilbet-t´er, mely X → R f¨uggv´enyekb˝ol ´all. H RMHT, ha az Lx : H → R ´un. ki´ert´ekel˝o lek´epez´es l´etezik ´es folytonos ∀x ∈ X. Az Lx lek´epez´es egy f ∈ H f¨uggv´enyhez az
Lx(f) =f(x) (4.1)
sz´amot rendeli.
A Riesz–Fr´echet Reprezent´aci´os T´etel ´ertelm´eben aHHilbert-t´er ´es du´alisa (aH →R folytonos, line´aris funkcion´alok, pl. Lx) izometrikusan izomorfak. Ez´ert b´armely Lx-hez egy´ertelm˝uen tartozik Kx ∈ H ´ugy, hogy
Lx(f) = hf, KxiH, ∀f ∈ H. (4.2)
Mivel Kx magaX →Rfv, ki´ert´ekelhet˝o b´armelyy∈ X eset´en. Defini´aljuk a k´etv´altoz´os K :X × X →R f¨uggv´enyt a k¨ovetkez˝ok´eppen:
K(x, y) :=Kx(y). (4.3)
Ezt nevezz¨ukH reproduk´al´o magj´anak. Ekkor (4.1), (4.2) ´es (4.3) alapj´an egyr´eszt K(x, y) = Kx(y) =Ly(Kx) = hKx, KyiH,
m´asr´eszt
K(y, x) = Ky(x) =Lx(Ky) = hKy, KxiH. A (val´os) skal´aris szorzat szimmetri´aja miatt K szimmetrikus ´es
K(x, y) = hKx, KyiH=hK(x, .), K(., y)iH, (4.4)
´
esK pozit´ıv definit is (l. Def4.2.). Ezt nevezik kernel tr¨ukknek, mellyel a X-beli pontok a t¨obbi ponthoz val´o hasonl´os´aguk alapj´an reprezent´al´odnak.
4.2. Defin´ıci´o Egy szimmetrikus k´etv´altoz´osK :X × X →Rfv-t pozit´ıv definit magnak nevez¨unk, ha minden n ∈ N ´es x1, . . . , xn ∈ X eset´en a K(xi, xj) = K(xj, xi) (i, j = 1, . . . n) elemekb˝ol ´all´o szimmetrikus m´atrix pozit´ıv szemidefinit.
Legegyszer˝ubb aline´aris mag:
Klin(x, y) =hx, yiX, ha X r´eszhalmaza egy Euklideszi-t´ernek.
A k¨ovetekz˝o transzform´aci´ok pozit´ıv definit magot eredm´enyeznek:
1. Ha K1 ´es K2 : X × X → R pozit´ıv definit magok, akkor a K(x, y) = K1(x, y) + K2(x, y) mag szint´en pozit´ıv definit.
2. HaK1, K2 : X × X →Rpozit´ıv definit magok, akkor aK(x, y) =K1(x, y)K2(x, y) mag szint´en pozit´ıv definit. Speci´alisan, haKpozit´ıv definit, akkorcK is az∀c >0.
K¨ovetkez´esk´eppen, ha hegy pozit´ıv egy¨utthat´os polinom ´esK : X × X →Rpozit´ıv definit mag, akkor Kh : X × X →Ris az, ahol
Kh(x, y) = h(K(x, y)). (4.5)
Mivel az exponenci´alis f¨uggv´eny pozit´ıv egy¨utthat´os polinomokkal k¨ozel´ıthet˝o, a fenti igaz a h(x) = ex f¨ugv´ennyel vagy megfelel˝o transzform´altjaival is.
Haszn´alva az
kx−yk2 =hx, xi+hy, yi −2hx, yi (4.6)
¨osszef¨ugg´est, a Gauss mag is pozit´ıv definit:
KGauss(x, y) = e−kx−yk
2
2σ2 , (4.7)
ahol σ > 0 param´eter. Val´oban, (4.6) miatt a Gauss mag k´etpozit´ıv definit mag szorza-tak´ent ´ırhat´o:
KGauss(x, y) =K1(x, y)K2(x, y), ahol
K1(x, y) =e−hx,xi+hy,yi 2σ2 ,
´ es
K2(x, y) = ehx,yiσ2 .
Itt K2 pozit´ıv definit, mivel a σ12Klin egy pozit´ıv definit mag exponenci´alis f¨uggv´enye, K1 pedig a defin´ıci´o miatt pozit´ıv definit, ui. megmutatjuk, hogy minden n ∈ N ´es x1, . . . , xn∈ X eset´en az a m´atrix, melyneki, j eleme
K1(xi, xj) = e−
hxi,xii 2σ2 ·e−
hxj ,xji
2σ2 , i, j = 1, . . . n
pozit´ıv szemidefinit. De ez egy 1 rang´u m´atrix, melynek egyetlen nem-nulla saj´at´ert´eke a nyoma (tr), ami pozit´ıv.
Ha X = {x1, . . . , xn} ´es S egy n×n-es szimmetrikus hasonl´os´agi m´atrix, mely az n pont k¨ozti p´aronk´enti hasonl´os´agokb´ol ´all, akkor az eλS m´atrix egy diff´uzi´os magot defini´al, ahol 0< λ <1 param´eter. A diff´uzi´os mag mindigpozit´ıv definit, m´eg akkor is, ha S nem az.
L´attuk, hogy egy RMHT egy pozit´ıv definit magot defini´al. A k¨ovetkez˝o t´etel (Aron-szajn, Moore) azt mutatja, hogy ez megford´ıtva is igaz.
4.3. T´etel Minden K : X × X → R pozit´ıv definit maghoz egy´ertelm˝uen l´etezik egy (esetleg v´egtelen dimenzi´os) Hilbert-t´er, mely X → R f¨uggv´enyekb˝ol ´all, ´es melynek K reproduk´al´o magja.
AzazH RMHT a K maggal: HK. A t´etel bizony´ıt´asa azon alapul, hogy Span{Kx = K(x, .)|x ∈ X } egy´ertelm˝uen meghat´aroz egy Euklideszi-teret, mely lez´arhat´o Hilbert-t´err´e. Ez lesz HK.
N´eha aHK RMHT elemeit egy k´ezenfekv˝obbF Hilbert-t´erben szeretn´enk megjelen´ı-teni (k´epzetes t´er, feature space). Tegy¨uk fel, hogy l´etezik egy (´altal´aban nem-line´aris) lek´epez´es φ:X → F ´ugy, hogy amennyiben x∈ X k´epe φ(x)∈ F, akkor
K(x, y) =hφ(x), φ(y)iF
a pozit´ıv definit mag. Ugyanakkor, (4.4) miatt
K(x, y) =hKx, KyiHK,
ahol Kx = K(x, .) egy X → R f¨uggv´eny, ´ıgy nem azonos φ(x)-el, de ¨osszekapcsolhat´ok a k¨ovetkez˝o transzform´aci´o ´altal. Legyen a T line´aris oper´ator, mely F-r˝ol az X → R f¨uggv´enyek ter´ebe k´epez, a k¨ovetkez˝ok´eppen defini´alva:
(T f)(y) =hf, φ(y)iF, y∈ X, f ∈ F. Akkor
(T φ(x))(y) = hφ(x), φ(y)iF =K(x, y) =Kx(y), ez´ert
T φ(x) = Kx, ∀x∈ X, (4.8)
´
es HK lesz T k´eptere. Ez csak egy v´azlatos bizony´ıt´as volt.