Főkomponens-elemzés (Principal Component Analysis: PCA)

értelmezésének módszereiről, az adatok fajtáiról, skálázásuk menetéről és egymáshoz való viszonyukról találhatunk mindenre kiterjedő leírást számos szakkönyvben ^{[36 – 39]}.

1.4.5. Főkomponens-elemzés (Principal Component Analysis: PCA)

Olyan statisztikai eljárás, melynek elsődleges célja az adatcsökkentés és –összegzés.

Gyakran nagyszámú változóval dolgozunk, amelyek egymással korrelálnak. Ezek számát a kezelhetőség érdekében csökkenteni kell. Az elemzés során az egymással kölcsönösen összefüggő változók közötti kapcsolatokat vizsgáljuk, és ezeket néhány magyarázó főkomponens alapján jelenítjük meg ^[64].

Az előbb említett „összegzés” tulajdonképpen arra irányul, hogy a nagyszámú korreláló adatrészekből (itemek) új, – végeredményben kisebb számú – korrelálatlan változókat (főkomponenseket) képezzünk. Így egyrészt megkönnyítjük a velük végzendő műveleteket (mivel korrelálatlan, azaz feltehetőleg – de nem feltétlenül – független változókkal dolgozhatunk) és ezzel együtt csökkentjük a hiba mértékét is. Továbbá előnyt jelent másrészt az, hogy adataink átláthatóbbá válnak, értelmezésük könnyebb lesz.

A főkomponens analízis egy olyan többváltozós statisztikai módszer, melyet a mérnöki tudományokban is széles körben alkalmaznak. Többek között felhasználták szakaszos reaktor vizsgálatára ^[65], termékminőség meghatározására ^[66], kémiai technológiák hibadiagnózisára

[67, 68] és kémiai analitikai módszerek, mint például abszorpciós-, emissziós-, és tömeg-spektroszkópiai adatok elemzésére ^[69]. Az infravörös spektrumok minőségi analízisében Ruyken és társai ^[70] használták sikeresen a PCA módszert. Kowalsky, akit a kemometria egyik megalapítójának tartanak, régészeti tárgyak elemzésére alkalmazta ^{[71, 72]} olyan szemléletesen, hogy példáját ma is gyakran használják tanítási és illusztrációs céllal. Harman a könyvében ^[73] alaposan kidolgozott matematikai részletességgel ír az akkor még újdonságnak számító módszerről.

A módszer leírása röviden a következő:

Legyen X a kiindulási adatmátrix, melynek N darab sora (objektumok, matematikai-statisztikai „esetek") M darab oszlopa (korrelált változója) van. A fentiek alapján az összefüggések vizsgálatának megkönnyítésére az eredeti változókat egy olyan transzformációnak vetjük alá, amely új, egymással korrelálatlan változókat eredményez. Az új változók lesznek a főkomponensek, amelyek tulajdonképpen az eredeti változók lineáris kombinációi. A sorba rendezésük az átalakítás során – a matematikai eljárásból adódóan – úgy alakul, hogy elöl állnak azok, amelyek az eredeti változók együttes varianciájának (tehát az X mátrix összes elemére számított szórásnégyzetnek) legnagyobb részéért felelősek.

Alapesetben végtelen ilyen átalakítás létezik, de ha az ortogonalitást feltételként szabjuk, akkor konkrét megoldást kapunk a korrelálatlan főkomponensekre. Tulajdonképpen a főkomponens-elemzés során az eredeti X mátrixot két mátrix szorzatával adjuk meg, ezek a főkomponens-együttható (loading) (P) mátrix és főkomponens (score) (T) mátrix:

X = T P^T (1.30.)

A T-ben lévő oszlopok az úgynevezett főkomponens vektorok és a P-ben lévő sorok a faktoregyüttható vektorok. Mindkét vektor ortonormált, azaz p_i^Tp_j = 0 és t_i^Tt_j = 0, ha i ≠ j és egységnyiek, ha i = j.

A főkomponenseket a maximum variancia kritérium alapján határozzuk meg úgy, hogy a hozzájuk tartozó sajátérték nagysága alapján sorba rakjuk. Minden rákövetkező főkomponens annak a varianciának a legnagyobb részét írja le, amelyet nem magyaráznak meg az előző főkomponensek. Ezek szerint az adatokban lévő variancia legnagyobb részét az első főkomponens hordozza. A másodikban több információ van, mint a harmadikban. Végül is annyi (a számú) főkomponenst számítunk ki, amennyi szükséges, hogy a teljes variancia előre meghatározott százalékát megmagyarázza. Ez a metodika hordozza magában a cél eléréséhez szükséges eszközt, tehát az adatcsökkentés (vagy zajcsökkentés) elérhető a főkomponensek maximális számának (a) meghatározásával.

A főkomponenseket (röviden PC) úgy tekinthetjük, mint egy új (derékszögű) koordináta-rendszer tengelyeit, értékeiket pedig az eredeti X adatmátrixban lévő oszlopvektor elemeinek vetítéseit ezekre a tengelyekre. Ehhez az eredeti mátrixot a főkomponensek értékeivé kell transzformálni:

T = X P (1.31.)

Az új koordináták az eredeti változók lineáris kombinációi, pl. az első főkomponens elemeit megadhatjuk:

t11 = x11p11 + x12p21 + …+ x1MpM1 (1.32.) t₂₁ = x₂₁p₁₁ + x₂₂p₂₁ + …+ x_2Mp_M1

tN1= xN1p11 + xN2p21 + …+ xNMpM1

Az 1.25. ábrán sémaszerűen is látható a főkomponens-elemzés, ahol X a kiindulási (elemzendő) adatmátrix, E a maradékmátrix, mindkettő N sorból és M oszlopból áll. A pi (i = 1, 2, .., a), a < M a főkomponens-együttható (loading); t_i = (i=1, 2, .., a) a < N maga a főkomponens (főkomponens változó, score).

1.25. ábra: A főkomponens-elemzés sémaszerű ábrázolása.

Ha a megegyezne N-nel illetve M-mel (mikor melyik a kisebb), akkor az E maradékmátrix nullmátrix lenne. A kemometriai irodalomban főkomponens-elemzés egy olyan faktoranalízisnek tekinthető, ahol az E hibakomponens mátrix – a hasznos jelre vonatkoztatva – nullával egyezik meg. Ilyenkor azt feltételezik, hogy a zajt és a mérési hibát a kis sajátértékű főkomponensek tartalmazzák. A tapasztalatok azt mutatják, hogy a kémiai kísérleti adatok kiértékelhetők ezzel a redukált faktoranalízis modellel ^[74].

Malinowski és Howery összefoglaló könyve ^[69] megadja, hogy négyféle módon lehet a főkomponens-elemzést megvalósítani, a következőkben annak a két módszernek az összefoglalása található, amelyek alkalmazására sor került az értekezés kísérleti részének értékelése során. Érdekes megemlíteni, hogy vannak olyan munkák, melyek sikeresen alkalmazták a továbbiakban említett két módszer kombinációját zajos FT-Raman ^[75] és FTIR

[76] spektrumok kiértékelésére.

1.4.5.1. A szinguláris érték szerinti felbontás (SVD) módszere

A szinguláris felbontás az elméleti szempontból egyik legtöbbet vizsgált, klasszikus lineáris algebrai eszközöket használó dimenzió-csökkentési eljárás, mellyel számos irodalom foglalkozik részletesen ^{[77, 78]}.

t₁

Egy négyzetes M mátrix sajátértéke az a λ_k szám és sajátvektora az a vk vektor melyekre Egy négyzetes vagy téglalap n*m dimenziójú M mátrix szinguláris értéke az a nemnegatív σ szám, szinguláris vektorai pedig az a két nemnulla u és v vektorok, melyekre

Mv = σu, (1.34.)

M^Tu = σv,

ahol M^T az M mátrix komplex konjugáltjának transzponáltját jelöli.

A sajátvektorok és a szinguláris vektorok hosszát nem határozzák meg a definíciók, ezért általában a hosszukat (standard vagy Euklideszi norma) 1-nek választjuk, azaz

||x||2 = 1, ||u||2 = 1, ||v||2 = 1 (1.35.) A szinguláris értékekre és vektorokra felírhatók az

MV = UΣ (1.36.)

M^TU = VΣ^T

egyenletek, ahol Σ az M-mel azonos méretű diagonális mátrix, melynek főátlójában a szinguláris értékek találhatók. Mivel a szinguláris vektorok megválaszthatók úgy, hogy az ui, illetve a vi vektorok egymásra páronként merőlegesek legyenek, ezért a szinguláris vektorokból, mint oszlopvektorokból felépített U és V mátrixokra teljesül, hogy U^TU = 1, illetve V^TV = 1.

Az M szinguláris érték dekompozíciója már egyszerűen adódik (1.26. ábra):

1.26. ábra A szinguláris felbontás sematikus vázlata A kapott Σ mátrixra igazak az alábbiak:

a) 1.26. ábrából is látszik, hogy valójában pszeudodiagonális, b) rendezett, azaz σ1 > σ₂ > σ_min > 0

c) továbbá σ_i = λ_i ,

Az ui és vi vektorok elnevezése pedig az i-edik bal illetve jobb oldali szinguláris vektorok.

A spektroszkópiában a bal oldali szinguláris vektorokat úgynevezett bázisspektrumoknak is lehetne nevezni, a jobboldali vektorok értelmezése lehet pl. valamilyen „élettörténet”

(hőmérséklet stb.).

A szinguláris érték szerinti felbontás és a főkomponens analízis közötti összefüggést teremti meg az 1.37. képlet:

M = UΣV^T = TP^T (1.37.)

Az SVD komplexitás csökkentésben való felhasználásának alapgondolata az, hogy a szinguláris értékek a dekomponált részek jelentőségét, fontosságát jelzik. Redukció azon részek csonkításával illetve elhagyásával érhető el, amelyek a hozzájuk tartozó szinguláris érték szerint a kimenethez csak kevésbé vagy egyáltalán nem járulnak hozzá. A mérési hibák, zaj miatt nem mindig világos, melyik sajátérték különbözik szignifikánsan zérustól. Mivel a kis sajátértékek sokszor a zajból erednek, ezért az ún. pszeudorang mindig kisebb, mint az eredeti mátrix rangja (a ≠ r), így sok esetben a kis sajátértékű részek elhagyhatók.

1.4.5.2. Nemlineáris Iteratív Parciális Legkisebb Négyzetek (NIPALS) algoritmusa A NIAPLS ^[79] (Nonlinear Iterative Partial Least Squares) algoritmus alapjait az a parciális legkisebb négyzetek (PLS) módszere adja, melynek első megjelenése H. Wold munkájában a hatvanas évek végére tehető. Az első publikáció a kémiai alkalmazásáról szintén a korábbiakban már említett Kowalsky ^[80] nevéhez köthető. A későbbiekben, Geladi Kowalskyval készített összefoglaló munkáiban ^[81–84] részletesen kifejti a PLS módszer alapjait, matematikai támaszpontot nyújtva, részletese taglalva az összefüggést a NIPALS eljárással.

Az alkalmazott módszer az eredeti X adatmátrixot iteratívan főkomponens-együtthatók és főkomponensek szorzatára bontja fel az alábbiak szerint.

1. Válasszunk ki egy xj vektort az eredeti X mátrixból és nevezzük el th-nak. Általában az X mátrix első sorát szokás felhasználni, de választható véletlenszerűen is. Ez lesz az algoritmus kezdőpontja.

2. Számítsuk ki a főkomponens együttható p’h első közelítő értékét:

h

h t t

X p t _'

' ' =

(1.38.)

3. A kapott értéket normalizáljuk egységnyi hosszúságúra: 4. Számítsuk ki a főkomponensek új értékét:

h elemeinek a különbsége nulla, vagy egy általunk meghatározott (pl. 10^-4) küszöbértéknél kevesebb, akkor folytatódik a következő lépés, ellenkező esetben az új th vektorral a második lépést kell újrakezdeni.

6. Számítsuk ki a maradékok mátrixát úgy, hogy az első főkomponens hatását levonjuk az eredeti X mátrixból

E = X – t p’, (1.41.)

vagy sematikusan (1.27. ábra):

1.27. ábra: Az első főkomponens levonása az eredeti X mátrixból

Amennyiben több főkomponenst is meg szeretnénk határozni, úgy helyettesítsük be az X helyére az E mátrixot, és ugorjunk vissza az első lépésre. Ismételjük addig az iterációs ciklust, míg el nem érjük a kívánt főkomponensszámot.

7. A ciklusok eredményeként megkapjuk a kívánt számú főkomponens-együtthatót és főkomponenst, amelyeknek a súlya (varianciája) a főkomponens számával fordítottan csökken (Var (FK1) > Var (FK2) > … > Var (FKa)). Kiszámítható továbbá a maradékok mátrixa is a felbontás hibájának grafikus, vagy matematikai becslésére.

t₁