lineáris modellek

ÁlLATGENETIKA

A projekt az Európai Unió támogatásával, az Európai Szociális Alap

társfinanszírozásával valósul meg.

Az Agrármérnöki MSc szak tananyagfejlesztése TÁMOP-4.1.2-08/1/A-2009-0010 projekt

Debreceni Egyetem

Nyugat-magyarországi Egyetem Pannon Egyetem

Lineáris algebra és

lineáris modellek

Lineáris algebra

Mátrix: általában számokból (változókból) alkotott sorokban és oszlopokban rendezett táblázat.

Minden mátrix n sorból és m oszlopból áll, így a mátrixokat n x m dimenziósnak (méretűnek) szokás nevezni.

ik

mn m

m

n n

a a

a a

a a

a

a a

a A















1 1

2 22

21

1 12

11

A egyetlen sorból álló mátrixot sormátrixnak, az egyetlen oszlopból álló mátrixot oszlopmátrixnak

nevezzük.

13 12

11

a a

a A

31 21 11

b b b B

Az egyetlen sorból és egyetlen oszlopból álló mátrix egyetlen szám (skalár).

Mátrixok darabolása

B d

b a

2 1

1

4 5

2

2 1

3

2 1

1

4 5

2

2 1

3 C

3

a b 1 2

1 d 2

2 1

4 B 5

A kiindulási mátrixot több részmátrixra bontjuk

Mátrixműveletek

Összeadás Kivonás

Feltétele: A két mátrix dimenzióinak meg kell egyeznie.

2 1

0 A 3

1 2

2 B 1

3 3

2 B 4

A

C 1 1

2 B 2

A D

C b

a b

a B

A

D b

a b

a B

A

2 6

0 2

1 3

0

* 1 2 C

Szorzás

Szorzás skalárral

Két mátrix szorzása

Fontos!

k m m

n k

n

A * B

C

20 15

8 4 6

3 5 *

C 2 A

* B B

* A

aij

* k A

* k C

p

1 k

kj ik

pj ip

j 2 2

i j

1 1

i

ij a *b a *b a *b a *b

C 

Mátrixműveletek szabályai

T T T

A

* B

B

* A

C

* B

* A C

* B A

C

* B C

* A C

* B A

C

* A B

* A C

B

*

A

Transzponálás (AT v. A’ )

2 1

1

4 5

2

2 1

3 A

2 4

2

1 5

1

1 2

3

2 1

1

4 5

2

2 1

3 A

T T

T T

T T

A

* B

* C C

* B

* A

Egy A mátrixból a sorok és oszlopok felcserélésével

képzett mátrixot az A mátrix transzponáltjának nevezzük.

Egységmátrix (E)

A E

* A

0 0

0

0 1

0

0 0

1 E















j i

, 0

j i

, E

1

A A

*

E

Invertálás (A ^-1 )

1

1

* A E A * A

A

d c

b A a

1 1 1

A

* B

B

* A

a c

b

* d c

* b d

* a A

1

Ha det(A)<>0, az inverz létezik, és az A mátrix nem-

szinguláris. Ha det(A)=0, az A mátrix szinguláris, és

nem létezik egyetlen inverze (általánosított inverze

viszont igen).

Invertálás (A ^-1 )

4 2

5 A 3

22 3

22 2

22 5

22 4

3 2

5

* 4 22

1 3

2

5

* 4 ) 2 (

* 5 4

*

3

A

1

Ismert együtthatók mátrixa

Inverz mátrix felhasználása – egyenletrendszerek megoldása

c

* A

x

c

* A

x

* A

* A

c x

* A

1

1 1

Kiszámítandó ismeretlenek oszlopvektora

Ismert együtthatók oszlopvektora

Inverz mátrix felhasználása –

egyenletrendszerek megoldása - példa

1 x

3 x

4 x

2 x

4 x

3 x

1 x

3 x

3 x

3 2

1

3 2

1

3 2

1

3 4 1

4 3 1

3 3 1 A

0 1

1

1 0

1

3 3

7 A ¹

1 0

2

1 2 1

* 0 1

1

1 0

1

3 3

7 c

* A

x ₁

1 2 1 c

Lineáris modellek

A mért függő változók oszlopvektora

* X y

Az egyenletrendszerben a becsülni kívánt változókhoz

tartozó együtthatók

A becslési hiba oszlopvektora Normál eloszlású,

átlaga nulla

Az általánosított lineáris modell alakja:

A becsülni kívánt változók

oszlopvektora

Lineáris modellek

A függő „y” változó lineáris függvénnyel történő leképezése több független (vagy becslő ) változóval.

A többváltozós regressziós modell a legegyszerűbb lineáris modell.

n n

2 2 1

1

x x x

y 

A β_i regressziós együtthatók jelentése: Az x_i egy egységnyi változása, amennyiben a többi változó állandó, ^β_i mértékű változást eredményez y-ban.

A modell paramétereit az egyváltozós regresszióhoz hasonlóan a legkisebb négyzetek elvével határozzák meg, ahol a hibanégyzetek összegének

minimalizálása a cél.

Becslő és Indikátor változók

Tételezzük fel, hogy „p” apaállat ivadékainak adatai ismertek.

A lineáris modell a következő:

ij i

ij s

Az i. apától származó y

j. ivadék adata

A főátlag. Ez teszi lehetővé, hogy s_i átlaga nulla legyen, és

s_i értékei az átlagtól vett eltérést fejezzék ki.

A j. ivadék eltérése az i.

apaállat családátlagától.

Varianciája a családon belüli varianciát becsüli.

A becsülni kívánt apaállatok hatásának

oszlopvektora

Becslő és Indikátor változók

ij i

ij s

y

Tételezzük fel, hogy „p” apaállat ivadékainak adatai ismertek.

A lineáris modell a következő:

A fenti modellt átírhatjuk lineáris modellé indikátorváltozók használatával.

Az indikátorváltozó:

ij p

1 k

ik x

ij * x

y

i sire

, 0

i sire

, x

1

A lineáris modell a következő:

Az indikátorváltozókat tartalmazó modelleket ANOVA, vagy varianciaanalízis modelleknek hívjuk.

Azokat a modelleket, amelyekben a főátlagon kívül nincsenek indikátorváltozók, együtthatóik folytonos, vagy diszkrét

értékek lehetnek, regressziós modelleknek nevezzük.

Mindkettő az Általánosított Lineáris Modell (General Linear Model /GLM/) speciális esete.

ijk ijk

ij i

ijk s d *x

y

ANOVA modell

regressziós modell

Példa: féltestvér/teljestestvér modell, a tulajdonságot a β az életkorra korrigálja.

Lineáris modellek mátrixalakja

Legyen adott három változó, és négy mérési vektor.

i 3

i 3 2

i 2 1

i 1

i

x x x

y

Mátrix alakban: y X

4 3 2 1

y y y y y

3 2 1

43 42

41

33 32

31

23 22

21

13 12

11

x x

x

x x

x

x x

x

x x

x X

4 3 2 1

A becsülni kívánt

paraméterek Az együtthatók mátrixa

Az apamodell mátrixalakja

A modell:

y

s

Tételezzünk fel három apaállatot. Az elsőnek kettő, a másodiknak egy, a harmadiknak három ivadéka van.

A GLM az alábbiak szerint néz ki:

33 32 31 21 12 11

y y y y y y

y

3 2 1

1 0

0 1

1 0

0 1

1 0

0 1

0 1

0 1

0 0

1 1

0 0

1 1

X

33 32 31 21 12 11

Legkisebb négyzetek módszere (Ordinary Least Squares /OLS/)

Ha a hibavektor elemei (a rezidiumok) normál eloszlásúak, az OLS megoldása visszavezethető a Maximum-Likelihood módszerre.

Ha a rezidiumok homogének, és korrelálatlanok, σ²(e_i)= σ_e², σ(e_i,e_j)=0. Ezért minden rezidiumnak azonos súlya van.

Xb y

y ˆ y

eˆ

Amennyiben β-t b-vel becsüljük, és az y értékek becslésére ebből értékeket számítunk, a hibavektor a következő lesz:

yˆ

A hibák négyzetösszege a következők szerint számítható:

Xb y

* Xb

y eˆ

* eˆ

eˆ

n

1 i

2

y becslése

Ha vesszük a mátrixok deriváltjait, látható, hogy a becslések kielégítik a következő összefüggést:

y

* X

* X

* X

b

Ez az OLS becslése a β vektornak.

Mivel a hibavektor elemei korrelálatlanok és homogének, a b mátrix elemei közötti kovariancia:

2 e T 1

b

X * X *

V

A /Var(e)/ a képlettel becsülhető,

ahol a rang(X) az X együttható-mátrix egymástól független oszlopainak számát jelöli.

) X ( rang n

eˆ

* ) eˆ

e ( Var

T 2

e

Példa: Regresszió az origón keresztül

i

i

e

X

* y

Ahol és ,

amiből:

T n 2

1

x x

x

X 

n

1 i

2 i

T

X x

X

n

1 i

i i

T

y x * y

X

β OLS becslése, valamint a becsült varianciák az alábbiak:

2 i

i T i

T 1

x y

* y x

* X

* X

* X

b

( b ) ( X

* X )

Példa: Polinomiális regresszió és interakció

i 2

i 2

i 1

i

* x * x e

y

Az általánosított lineáris modell (GLM) egyszerűen kezeli a becslő változók különböző függvényeit, így a becsülni kívánt paraméterek lineárisak maradnak. Pl.: y=α+β₁*f(x)+β₂*g(x)+…+e

Kvadratikus regresszió:

2 1

2 n n

2 2 2

2 1 1

x x

1

x x

1

x x

1

X   

i 2

i 2

i 3

2 i 2

1 i 1

i

* x * x * x * x e

y

Az interakciókat (pl. ivar x életkor) is hasonlóan kezeli:

Ha az x₁-et állandónak vesszük, x₂ egységnyi változása y-t β₂+β₃*x₁ mértékben változtatja meg.

Hasonlóképpen, az x₁ egységnyi változása y-t β₁+β₂*x₂ mértékben változtatja meg.

3 2 1

2 n 1

n 2

n 1

n

22 21

22 21

21 11

21 11

x

* x x

x 1

x

* x x

x 1

x

* x x

x 1

X    

Hatások figyelembe vétele fix, vagy random hatásként

A lineáris modellek két nagy célnak próbálnak megfelelni:

•a modell paramétereinek becslése,

•a megfelelő varianciák becslése

Például a legegyszerűbb regressziós modellben (y=α+β*x+e)

α és β értékeit, valamint e varianciáját becsüljük. Természetesen e_i=y_i-(α+ β*x_i) értékeket is tudjuk becsülni.

Fontos, hogy az α ésβ értékek, amelyeket becsülni kívánunk,

állandó hatások (fix faktorok ), míg az e_i értékek egy eloszlásból származnak. Az e_i-t ezért véletlen hatásnak (random effektnek) tekintjük.

A „vegyes” („mixed”) modellek állandó és véletlen hatásokat egyaránt tartalmaznak.

Az állandó és véletlen hatások közötti ilyen megkülönböztetés különösen fontos a modellek elemzésekor.

Ha a becsülni kívánt paraméter állandó konstans, akkor az állandó hatás.

Ha a becsülni kívánt paraméter valamilyen eloszlásból származik, és erre az eloszlásra mi következtetéseket kívánunk levonni, akkor véletlen hatás.

Általában az állandó hatások becsléséről, és a véletlen hatások előrejelzéséről beszélünk.

Példa: apa modell

ij i

ij

s e

y

állandó hatás

véletlen hatás állandó, vagy véletlen

hatás?

Attól függ. Amennyiben van 10 apaállatunk, és mi CSAK ennek a 10 apaállatnak az értékére vagyunk kíváncsiak, nem

vizsgáljuk a populáció egyéb részét, akkor tekinthetjük

ÁLLANDÓ hatásnak. Ebben az esetben a μ, s₁-től s₁₀-ig az apaállatok, és σ²_e becslése szükséges, és a modellt az

y_ij=μ+s_i+e_ij, ²(e_ij) = ²_e alakban írhatjuk fel.

Példa: apa modell

ij i

ij

s e

y

Hasonlóképpen, amennyiben nemcsak ez a 10 apaállat érdekel minket, hanem a kiindulási populációra is szeretnénk

következtetéseket levonni, akkor az s_i-t VÉLETLEN hatásnak tekintjük. Ebben az esetben a μ-t, és a σ²_s, σ²_w varianciákat becsüljük. Mivel az si értékek becsülik (vagy előrejelzik) az i.

apaállat tenyészértékét, ezeket szintén becsülni (előrejelezni) szeretnénk. A véletlen hatásként történő figyelembevétel esetén a modellt az y_ij=μ+s_i+e_ij, ²(e_ij) = ²_e, ²(s_i) = ²_s alakban

írhatjuk fel.

Általánosított Lineáris Modell (GLS)

Tételezzük fel, hogy a hibaértékek (rezidiumok) eloszlásának nem ugyanolyan a varianciája (pl.

heterogenitást mutat). Természetesen a súlyozott

hibanégyzetek összegét nem szeretnénk minimalizálni,

mivel ezek az összegek alacsonyabb varianciánál nagyobb súlyokat kapnának.

Hasonlóképpen, amennyiben a hibaértékek korrelálnak, ezt ugyancsak figyelembe kívánjuk venni (pl. egy megfelelő

átalakítással megszüntetni a korrelációt) a négyzetösszegek minimalizálása előtt.

A fenti esetek mindegyikére az OLS megoldás helyett a GLS megoldás szükséges.

A GLS modellben a hibaértékek „e” vektorának kovariancia mátrixát „R” jelöli, ahol R_ij = (e_i,e_j).

A lineáris modell alakja: y = Xb + e, cov(e) = R A GLS módszerrel „b” becslése β-ra:

A becslő modell variancia-kovariancia értékei az alábbiak szerint számíthatók:

y

* R

* X

* )

X

* R

* X (

b

2 e 1

1 T

b

( X * R * X ) *

V

A modell y_i = + x_i alakú, ahol

Példa

) w ,

w , w ( Diag

R ₁¹ ₂¹  _n¹

A hibaértékek korrelálatlanok, de heterogén eloszlásúak, (e_i) /w_i

Például, az i. minta az átlaga az n_i egyednek, ahol

2(e_i) = _e²/n_i. Itt w_i = n_i

n 1

x 1

x 1

X  

Előadás összefoglalása

• Mátrixműveletek (összeadás, kivonás, szorzás, invertálás)

• Lineáris modellek általános alakja

• Legkisebb négyzetek módszere és az általánosított legkisebb négyzetek módszere

• Tényezők figyelembevétele állandó, vagy véletlen hatásként

Előadás ellenőrző kérdései

• Számítsa ki a mátrix inverzét!

• Mi a feltétele két mátrix szorzásának?

• Hogyan néz ki az általánosított lineáris modell (GLM)?

• Mi alapján dönti el, hogy egy tényezőt állandó, vagy változó hatásként vesz figyelembe a modellben?

• Mi a különbség az OLS és a GLS módszerek között?

3 5

4 2

KÖSZÖNÖM FIGYELMÜKET

Következő

ELŐADÁS/GYAKORLAT CÍME

Tenyészértékbecslés, BLUP

• Előadás anyagát készítették: