Összefüggések a lineáris regressziós modellben

(1)

Statisztikai Szemle, 79. évfolyam, 2001. 10–11. szám

ÖSSZEFÜGGÉSEK A LINEÁRIS REGRESSZIÓS MODELLBEN

DR. HAJDU OTTÓ

A tanulmány a lineáris regressziós modell alapvető mutatóit tárgyalja. E mutatókat egymásból vezeti le olymódon, hogy azok statisztikai tartalma a levezetés gondolatmenetétől megvilágítást nyer. A tanulmány mindazokat a módszertani következtetéseket, melyek a klasszikus megközelítésben a mintavétel szintjén keletkeznek, ezúttal az elméleti modell tu- lajdonságai között helyezi el. A cikk hangsúlyt helyez arra a tényre, hogy a többváltozós modellt jellemző mutatók miként vezethetők vissza az egyszerű kétváltozós modell megfe- lelő mutatóira. A dolgozatban szereplő levezetések sajátos menete – két évtized oktatási ta- pasztalataira épülve – a szerzőtől származik, melynek didaktikája a regresszió oktatását is segíteni kívánja.

TÁRGYSZÓ: Lineáris regressziós modell. Modelltulajdonságok. Becslőfüggvények.

regressziós modell egy sztochasztikus jelenséget hivatott leírni az azt alakító té- nyezők függvényében, elemzési, illetve előrejelzési céllal. A vizsgált jelenséget repre- zentáló Y eredményváltozó, és az ok szerepét játszó X magyarázó változók kijelölése a modell specifikálásának első lépése. A modell struktúráját az Y.X₁,X₂,K,X_p,e formula írja le, aholemaradék jellegű változó, a modell által nem magyarázott, véletlen hatást fejezi ki. A véletlen változó nyújtja tehát a modell sztochasztikus jellegét, és rajta keresztül ítélhető meg a modell és a valóság viszonya. A véletlen változó minden regressziós modell eleme, ezért a (p+1) változós modellre elegendő az Y.X₁,X₂,K,X_p formában hi- vatkozni. A regressziószámítás módszertana kimunkált, eszköztára közismert. Alapvető- nek mondható mutatói esetében azonban azok tartalmának és formulájának az összekap- csolása korántsem magától értetődő, a szakirodalom pedig adós az indoklásukkal.¹ Jelen tanulmány célja, hogy a lineáris regressziós modell nevezetes összefüggéseit bemutassa, esetenként új megvilágításba helyezze azokat.

A szakirodalomban megszokott tárgyalásmódtól eltérően, a lineáris regresszió „szoká- sos outputjához tartozó” regressziós paramétereket, parciális korrelációkat és az illeszke- dés vizsgálatát segítő mutatókat nem a minta szintjén, hanem a modelljellemzők között definiáljuk, mivel tartalmuk már itt értelmezhető. Az érintett fogalmakat a tanulmány

1 A tankönyvek és szakkönyvek egymásra hivatkozva, indoklás nélkül örökítik tovább az egyes formulákat, az olvasóra bíz- va azok belátását.

A

(2)

olyan didaktikai keretben tárgyalja, melyben a mutatók definíciójukból, illetve egymásból következve értelemszerűen formálódnak, így összefüggéseik plasztikusan láthatóvá vál- nak. A magyarázó változók szempontjából egymásba ágyazott modelleket, így a kétválto- zós modellt, nemcsak speciális esetként, hanem a többváltozós modell szerves részeként is kezeljük.

Mindezek értelmében jelen tanulmány első része a kétváltozós modellt vizsgálja abból a követelményből kiindulva, miszerint a véletlen változó korrelálatlan a magyarázó válto- zóval. E racionális megszorítás nem engedi, hogy a véletlen változó előrejelezhető legyen a magyarázó változó értékének az ismeretében. Ezt követően a kétváltozós modell ered- ményeit három változó páronkénti kapcsolatainak a vizsgálatára terjesztjük ki. A második rész általánosítja a modellt kettőnél több változó egyidejű kezelésére, ideértve a három- változós modellt is.² Ebben a részben a többváltozós modell némely esetben háromválto- zóssá partícionálva jelenik meg, lehetővé téve az általános modell jellemzőinek a kétvál- tozós modell eredményeire való visszavezetését. E két rész eredményei mind modell- szintűek, függetlenek a mintavétel problémáitól, és a véletlen változóval szemben támasztott kiinduló követelmény teljesülésén alapulnak. Ezért a harmadik részben azt vizsgáljuk, hogy a paraméterbecslés tükrében (tehát a minta szintjén) a kiinduló korrelálatlansági követelmény milyen körülmények között konform a legkisebb négyzetek kritériumával.

A KÉTVÁLTOZÓS MODELL

Kétváltozós, azaz Y.X modellt definiálva az eredményváltozó alakulását csak egyetlen magyarázó változó felhasználásával közelítjük. A kapcsolat sztochasztikus jellegű, hiszen a magyarázó változó rögzített X szintje mellett az eredményváltozó értéke szóródik

Y X Y

E{ | }= ˆ feltételes várható értékkel, és Var{Y|X} feltételes varianciával.³ A reg- ressziós modell feltevése szerint az eredményváltozó feltételes várható értéke a magyará- zó változó lineáris függvénye:

X Yˆ=b₀+b₁ ^,

ahol b₀ és b₁ a regressziós paraméterek. E paraméterek a modell szerint rögzített, de isme- retlen értékek. Tartalmilag a b₀ tengelymetszet az eredményváltozó X=0 feltétel mellett várható értékét jelenti, míg a b₁ meredekség a magyarázó változóban bekövetkezett egy- ségnyi abszolút változásnak az eredményváltozóra gyakorolt várható hatását számszerűsíti.

A tengelymetszet szerepeltetését a modellben az indokolja, hogy a magyarázó változó zérus szintje mellett az eredményváltozó várható értéke nem föltétlenül zérus. A regressziós függ- vény Yˆ értékét a későbbiekben tömören regressziónak nevezzük. A regresszió értékének az ismeretében egy adott X feltétel melletti Y értéktől való e eltérés:

Y Y- ˆ

=

e .

2 Mint látjuk, a tanulmányban a három változó vizsgálatán, és a háromváltozós modellen mást értünk.

3 E{.} az argumentumban szereplő véletlen változó várható értékét Var{.} pedig a varianciáját jelöli.

(3)

Az e véletlen (maradék) változó feltételes várható értéke (lévén várható értéktől vett eltérés) definíció szerint zérus: E{ε|X} = 0. Ebből következően a véletlen változó várható értéke mindenféle értelemben – tehát feltételre való tekintet nélkül is – zérus. Mivel a magyarázó változó ismeretében a regresszió hivatott leválasztani az eredményváltozó várható értékét, a maradék jellegű véletlen hatás a magyarázó változóval definíció szerint korrelálatlan. Ezt a C_X,e kovariancia zérus értéke fejezi ki:

. 0 }

,

{X e =C_X_,_e=

Cov /1/

A regressziós modellben tehát az eredményváltozó kétféle komponens eredője. Egy a magyarázó változóval függvényszerű kapcsolatban levő, és a magyarázó változóval kor- relálatlan hatás összege.

A korrelálatlanságnak, valamint a linearitásnak a feltevése maga után vonja az alábbi- ak teljesülését.

1. Az eredményváltozónak a magyarázó változóval való kovarianciája – a kovariancia lineáris dekompozíciója alapján⁴ – megegyezik saját regressziójával vett kovarianciájá- val:

Y X X

Y X Y

Y X

X C C C C

C _, = _,₍_ˆ₊_e₎ = _,_ˆ + _,_e= _,_ˆ. /2/

E kovariancia értékét a meredekség és a magyarázó változó varianciája együttesen alakítja:

1 2 , 1 ) ( ˆ ,

,Y X,Y X ₀ ₁X X X X

X C C C

C = = _b ₊_b =b =bs ^. ^/3/

2. A regresszió a véletlen változóval korrelálatlan:⁵

, 0

1 ), , (

ˆ_e= _b₀₊_b₁_X _e=b _X_e=

Y C C

C . /4/

Az eredményváltozó feltétel nélküli varianciájának regressziós dekompozíciója ezek után /4/ alapján:

= +

= s + s

= + s + s

= s

= ₊_e _e _e 2 _e2 ˆ,ˆ _e,_e , ˆ

2 ˆ 2ˆ 2ˆ

, 2 2C C C

C_Y_Y _Y _Y _Y _Y _Y _Y_Y /5/

Y Y Y Y Y Y

Y C C C

C_ˆ_,₍ _-_e₎+ _e_,₍ _-_ˆ₎= _ˆ_, + _e_,

= , /6/

ahol s_Y²_ˆ a regressziónak, s²_e pedig a véletlen változónak a feltétel nélküli varianciája.

Mivel variancia nem lehet negatív, ezért az eredményváltozó sem a saját regressziójá- val, sem a véletlen változóval nem korrelálhat negatív irányban, hiszen /5/ és /6/ alapján

2 0

, ˆ

ˆ_Y =s_Y ³

CY és C_e_,Y =s²_e ³0.

4 A tanulmány intenzíven támaszkodik a kovariancia lineáris dekompozíciójára, melyet a Függelék ismertet.

5 A kovariancia invariáns a b0 konstanssal való eltolásra.

(4)

Az előbbiek alapján lehetőségünk nyílik egyrészt a meredekség meghatározására, más- részt a modell és a valóság illeszkedésének a jellemzésére. A meredekség értéke /3/ alapján

2 ,ˆ 2

, 1

X Y X X

Y

X C

C

= s

b . /7/

Az illeszkedést jellemző determinációs együttható, az eredményváltozó varianciájából a regresszió által megmagyarázott hányad pedig /5/ és /6/ alapján

Y Y

Y Y Y X Y

Y C

R C

, ˆ, 2 2ˆ 2.

0£ = =

s

s 1 1 1

, , 2

2

£ - s = -s

= ^e ^e

Y Y

Y

Y C

C . /8/

E varianciahányados jellegű mutató egyben az eredményváltozó és a magyarázó vál- tozó közötti rX,Y lineáris korreláció négyzete, hiszen

2, 2 2 2 2 1

2 )

( 2 2ˆ

2. ⁰ ¹ XY

Y X Y

X Y

Y r

R =

s b s s =

=s s

=s ^b ⁺^b . /9/

Ugyanakkor a determinációs együttható pozitív gyöke, a szóráshányados, tartalmilag az eredményváltozó és a regresszió közötti lineáris korreláció, mivel:

, .

ˆ ˆ ˆ, , ˆ

ˆ ˆ

. YY

Y Y Y Y Y

Y Y Y Y X Y

Y C C r

R =

s

=s s

= s s

=s /10/

A változók szerepének megcserélésével a determinációs együttható fölbontható az Y.X és X.Y modellek bY.X és bX.Y meredekségeinek a szorzatára:

Y X X Y Y

Y X X

Y Y X X X Y

C r C

R²_. ²_, ₂^, ₂^, =b _. b _. s

= s

= .

Lévén 10£RY²_.X £ , ezért a kétféle meredekség előjele meg kell, hogy egyezzen, to- vábbá, ha egyikük nagyobb, mint 1, akkor a másik szükségszerűen kisebb egynél.

A tengelymetszet meghatározása érdekében tekintsük az eredményváltozó modellezett értékét:

e + b + b

= X

Y ₀ ₁ .

Ebből az eredményváltozó feltétel nélküli eloszlásának várható értéke X

E X Y

E{ }₌_b₀₊_b₁ ₊ (_e)₌_b₀₊_b₁ , ahol X a magyarázó változó átlagos szintje.

(5)

Mivel a meredekség adott, ezért a tengelymetszet kivonással:

X Y

E ₁

0 = { }-b

b .

Végül a véletlen változó feltétel nélküli varianciája a determinációs együttható függ- vényében kifejezve:

) 1 ( ) 1

( ²_. ² ²_,

2

2 =sY -RYX =sY -rXY

s_e . /11/

Érdeklődésünket most három, rendre X,Y,Z változóra kiterjesztve, a páronkénti kor- relációs kapcsolat – kétváltozós modellek használatával – háromféle párosításban vizs- gálható.⁶ Tekintsük előbb az X és az Y változót külön-külön az X.Z és Y.Z kétváltozós modellekben rendre mint eredményváltozót, egyaránt a Z változóval magyarázva:

X Z

X Z X

Xˆ =b₀_X +b _. = -e

Y Z

Y Z Y

Yˆ=b0_Y +b . = -e ,

ahol a definíció szerintCov(Z,eX)=Cov(Z,eY)=0, és ebből következően Cov(Yˆ,_e_X)₌ 0

) ˆ,

( e =

=Cov X Y is teljesül. Ezt kihasználva az X és Y változók közötti kovariancia to- tális értéke értelemszerűen kétféle korrelációs kapcsolat eredője. Egyrészt a Z változó li- neáris hatását reprezentáló várható értékek közötti, másrészt e lineáris hatástól tisztí- totte_Xése_Yvéletlen változók közötti kapcsolatra vezethető vissza:

Y X X

Y C C

C C

C_X,_Y = _Xˆ,_Yˆ+ _Xˆ,_e + _Yˆ_,_e + _e _,_e =C_Xˆ,_Yˆ+C_e_X_,_e_Y . /12/

A kovariancia /12/ felbontását a kovariancia regressziós dekompozíciójának nevez- zük.⁷ Ebből az e_X és e_Y véletlen változók közötti kovariancia tartalmilag az ún. parciá- lis kovariancia, melynek értékét számíthatjuk az eredeti változók közötti, nem tisztított páronkénti kovarianciák felhasználásával, az alábbiak szerint:

Y Y X

X C

C

C_e_X_,_e_Y = _, - _ˆ_,_ˆ _, _. _. _, _, ₂^, ₂^, ²_Z

Z Z Y Z

Z Y X X Z Z Z Y Z X Y X

C C C

C

C s

s - s

= b

b -

= =

2 , , ,

Z Z Y Z X Y X

C C C

- s

= . /13/

Ha valamennyi változó standardizált, akkor a parciális kovariancia a lineáris korrelá- ciók felhasználásával is kalkulálható:

Z Y Z X Y

X r r

r

C_e_X_,_e_Y = _, - _, _, ^.

6 A későbbiekben, ha pontosan három változót szerepeltetünk, akkor a könnyebb hivatkozás kedvéért mindhármukat külön, rendre X,Y,Z betűvel illetjük.

7 Vegyük észre, hogy ez a variancia /6/ felbontásának kiterjesztése.

(6)

A parciális kovariancia értékét osztva a két véletlen változó /11/ formában kifejezett szórásainak szorzatával, definíció szerint az X és Y változók közötti parciális korrelációt kapjuk, melynek szokásos jelölése rX,Y.Z, értéke pedig:

Y X Y

X Y X Y X

Y Y X X Z

Y X

C C C

r r

e e e

e e e e

e s s

= - s

=s

= _, ^, ^, ^ˆ^,^ˆ

.

, 2

2 , ,

, , ,

1

1 _X_Z _Y_Z

Z Y Z X Y X

r r

r r r

- -

= - . /14/

A TÖBBVÁLTOZÓS MODELL

Az Y.X1,...,Xp (p+1) változós modell szerint a regresszió p számú magyarázó változó lineáris kombinációja:

p pX X

Yˆ=b₀+b₁ ₁+K+b ,

ahol a bj (j=1,...,p) koefficiensek a parciális regressziós meredekségek. E meredekségeket úgy specifikáljuk, hogy a véletlen változó valamennyi (j=1,...,p) magyarázó változóval korrelálatlan legyen:

= e

e} ,

,

{X_j C_X_j

Cov =CXj_,₍Y_-Y_ˆ₎ =CXj_,Y -C_Xj_,_Y_ˆ =0 /15/

vagy átrendezve

Y Y X

X_j C _j

C _, = _,_ˆ^. ^/16/

E követelmény mátrix formában

úú úú ú

û ù

êê êê ê

ë é

=

= úú úú ú

û ù

êê êê ê

ë é

=

Y X

Y X Y X

Y X

XY

p C p

C C

C C C

,ˆ ,ˆ ,ˆ

ˆ

, , ,

2 1 2

1

M c M

c , /17/

ahol c_XY és c_X_Y_ˆ az egyes magyarázó változóknak az eredményváltozóval, illetve annak regressziójával vett kovarianciáit tartalmazó vektorok. A többváltozós modellre is érvé- nyes tulajdonság tehát, hogy a véletlen változó a regresszióval nem korrelál:

0

1 ,

ˆ, =

å

b =

= e

e p

j j X

Y C j

C .

A paraméterek értelmezése

A bj paraméter azt az abszolút jellegű változást számszerűsíti, mely az eredményvál- tozó feltételes várható értékében – ceteris paribus – az Xj változó egységnyi abszolút vál

(7)

tozásának a hatására következik be. A bj paraméterek parciális értelmét megvilágítandó, a modellt az Y.X,Z és az Y.X formában háromváltozósra, majd kétváltozósra redukáljuk, és kapcsolatot teremtünk a megfelelő regressziós paraméterek között.

Fejezzük ki az Y.X modell bY.X meredekségét az Y.X,Z bővített modell bX és bZ parci- ális meredekségeivel. A zéró kovarianciák elhagyásával

X Z Z X X

Z Z X X

X X X X

Z X X X

Y X X Y

C C C

C _X _Z

2 . , 2

, 2

) (

, 2

. , ⁰ =b +b b

b s s + b s =

s =

=

b ^b ⁺^b ⁺^b ⁺^e , /18/

ahol bZ.X a Z.X modell meredeksége. Tehát X egységnyi változásának az eredményváltozó várható értékére gyakorolt totális hatása egyrészt X parciális közvetlen b_X hatására, más- részt a Z változón keresztül gyakorolt közvetett hatására vezethető vissza. A közvetett hatást bZbZ.X számszerűsíti, hiszen X egységnyi változásának totális hatása a Z változóra bZ.X, míg Z egységnyi változásának parciális közvetlen hatása az eredményváltozóra bZ. Az ilyen jellegű elemzést útelemzésnek nevezzük. A fentiek analógiájára az útelemzés kiterjeszthető az Y.X1,...,Xp általános modellre is. Például Xj és Y kapcsolatát tekintve:

j p j

j p p j

j j

X X p X

X X

X X X X

Y X Xj Y

C C

. .

2 1

) ...

( , 2

,

. ⁰ ¹ ¹ =bb ₁ +...+b b

= s

b ^b ⁺^b ⁺ ⁺^b ⁺^e , /19/

ahol 1bX_j_.X_j = .

A regressziós paraméterek tulajdonságai

A parciális regressziós meredekségek értéke – a kétváltozós modell analógiájára – az eredményváltozónak a magyarázó változókkal való korrelációs kapcsolataira, továbbá a magyarázó változók egymás közötti korrelációs struktúrájára vezethető vissza. Tekintsük ugyanis a regressziós meredekségek függvényében a

p j j

p p

jY Xj X X X X p X X

X C C C

C _,_ˆ = _,₍_b₀₊_b₁ ₁₊_...₊_b ₎ =b₁ _, ₁+...+b _,

kovarianciát, melyet valamennyi Xj (j=1,...,p) változóra meghatározva, majd a /17/ köve- telményből kiindulva és mátrixjelölést alkalmazva

X Y XX

XY cX C β

c = ˆ = , /20/

ahol a parciális meredekség vektora:

úú úú ú

û ù

êê êê ê

ë é

b b b

=

p

X M

2 1

β ,

(8)

a magyarázó változók (p,p) rendű szimmetrikus kovariancia mátrixa pedig:

úú úú ú

û ù

êê êê ê

ë é

=

p p p

p

X X X

Xp X X

X X X

XX

C C

C

C C

C

C C

C

, ,

,

, ,

,

, ,

,

2 1

2 2

2 1 2

1 2

1 1 1

O M

L

C .

Ekkor a /20/ azonosságból (feltéve, hogy CXX invertálható):

XY XX

X C c

β = ^-¹ ^. ^/21/

A parciális regressziós paraméterek ismeretében a tengelymetszet értéke (a véletlen változó zérus várható értéke mellett):

p pX X

Y

E -b - -b

=

b₀ { } ₁ ₁ K . /22/

Látható, hogy a változókat az Y^c =Y-E{Y} ^és c j j

j X X

X ₌ _- módon centrálva a tengelymetszet zérussá válik, viszont a parciális meredekségek nem változnak. A kovariancia invariáns ugyanis arra, hogy az eredeti változókra, vagy azok centrált változatára vonatkozóan határozzuk-e meg:

e + b + + b

= ^c _p ^c_p

c X X

Y ₁ ₁ K .

Ha viszont a változókat az Y^*=Y^c^/s_Y^ésX^*j =X^*j^/sX_j^módonstandardizáljuk, akkor a parciális regressziós meredekségek megváltoznak:

Y p pX X

Y^*=a₁ ₁^*+K+a ^* +e/s ,

ahol

Y X j

j ^j

s b s

=

a az ún. standardizált regressziós meredekség. E paraméter jelentősége az, hogy az adott magyarázó változó fontosságát a többi magyarázó változó viszonylatá- ban (mértékegységtől függetlenül) tükrözi. A parciális regressziós meredekségek standar- dizált változatának mátrix formában való (/21/ szerinti) meghatározása értelemszerűen a kovarianciák helyett a lineáris korrelációkat igényli

XY XX X =R^-¹r

α . /23/

A modell magyarázó ereje

Mivel a centrált és a standardizált modell csak egy konstans sY szorzóban tér el egy- mástól, ezért a modell magyarázó erejét jellemző többszörös determinációs együttható invariáns a változók (valamennyi változó egyidejű) standardizálására. Értékét tehát kife

(9)

jezhetjük mind az eredeti mértékegységben értelmezett, mind pedig a standardizált reg- ressziós paraméterek függvényében. Definíció szerint ugyanis (hivatkozva a /6/ azonos- ságra):

2 ), ...

2 ( , ,

. ₁ ⁰ ¹ ¹

Y

Y X X X

X

Y _p ^p ^p

R C

= ^b ⁺^b s⁺ ⁺^b

¼ 2

,

1 Y

Y p X

j j ^j

C b s

=

å

= X Y

p j jr _j_,

å

1

=a

= . /24/

A modell illeszkedését a magyarázó változók aj relatív súlyai, és az eredményválto- zóval való korrelációik együttesen határozzák meg.

Az Y.X,Z háromváltozós modellben közvetlen kapcsolat teremthető a többszörös de- terminációs együttható, valamint a kétváltozós totális és a parciális determinációs együtt- hatók között. Alkalmazzuk a speciális /18/ háromváltozós útelemzést a standardizált vál- tozókra az alábbi módokon (kihasználva, hogy standardizált változók esetén a kétváltozós modell meredeksége a lineáris korrelációval egyezik meg):

Z X Z X Y

X r

r _, =a +a _, /25/

Z Z X X Y

Z r

r , =a , +a /26/

amely mátrix formában felírva:

úû ê ù ë é a ú a û ê ù

ë

=é úû ê ù ë é

Z X Z

X

Z X Y

Z Y X

r r r

r

1 1

, , ,

,

vagy általánosságban

Rα r= ,

ahol az r vektor a magyarázó változóknak az eredményváltozóval vett korrelációit, az R mátrix a magyarázó változók egymás közötti páronkénti korrelációit, az α vektor pedig a magyarázó változók standardizált meredekségeit tartalmazza. A fenti egyenletrendszert a standardizált meredekségekre átrendezve (lásd a (2,2) rendű mátrix invertálására vonat- kozó nevezetes szabályt):

α= R^-1 r ú

û ê ù ë úé û ê ù

ë é -

-

= - úû ê ù ë ú é û ê ù

ë

=é úû ê ù ë é a

= a

-

Y Z

Y X Z

X

Z X Z

Y X Z

X

Z X Z

X

r r r

r r

r

, , ,

, 2,

, , 1

, ,

1 1

1 1 1

1 ,

melyből a standardizált meredekségekre az

2, , , ,

1 _X _Z

Z X Y Z Y X

X r

r r r

-

= -

a ₂

, , , ,

1 _X _Z

Z X Y X Y Z

Z r

r r r

-

= - a megoldás adódik.

(10)

E paraméterekkel a többszörös determinációs együttható (a /23/ és /24/ formulákat használva):⁸

Y Z Z Y X T X

Z X

Y r r

R²_. _, =α r=a _, +a _, = r^T R^-1 r =

2,

, , 2 ,

2 , ,

1 2

Z X

Z X Y Z Y X Y Z Y X

r

r r r r r

- -

= + ₂

, , 2 , 2 ,

, 1

) (

Z X

Y X Z X Y Y Z

X r

r r r r

- + -

= ⁼

2, , 2 , , 2, 2, 2,

1

) (

1 1

Z X

Y X Z X Y Z Y X

Y X Y

X r

r r r r r r

- - -

+ -

= 2 ², .

2 ,

,_Y (1 _X_Y)_Z_Y_X

X r r

r + -

= , /27/

ahol r_Z²_,_Y_._X a /14/ formulának megfelelően a Z és Y változók közötti parciális korreláció négyzete. Analóg módon az

2, . 2, 2,

2._X,_Z _Z_Y (1 _Z_Y) _X_Y_Z

Y r r r

R = + - /28/

felbontás is teljesül. A /27/ és /28/-ból a parciális determinációs együttható más alakokban

2, 2, 2. , 2, .

1 _X_Y

Y X Z X Y X Y

Z r

r r R

-

= - ^/29/

2, 2, 2. , 2, .

1 _Z_Y

Y Z Z X Z Y Y

X r

r r R

-

= - ^. ^/30/

Látható, hogy a parciális determinációs együttható azt számszerűsíti, hogy a Z magya- rázó változónak az X magyarázó változó után való bevonása a modellbe (a kétváltozós modell háromváltozóssá bővítése) milyen arányban csökkenti az eredményváltozó varianciájából az X változó által meg nem magyarázott hányadot. Vegyük észre továbbá, hogy mivel a parciális determinációs együttható (lévén négyzetszám) nem lehet negatív, ezért a modell további magyarázó változóval való bővítésekor a többszörös determinációs együttható sohasem csökkenhet. A korábbi szinten csak akkor marad, ha az újonnan be- vonandó magyarázó változónak az eredményváltozóval való parciális korrelációja zérus.

A parciális determinációs együttható értéke alapján a parciális korreláció irányára, előjelére vonatkozóan még nincs információnk. A háromváltozós modellben definiált /14/

parciális korreláció azonban lehetővé teszi bármilyen többváltozós modell esetén is a par- ciális korreláció meghatározását, ha kijelöljük a kérdéses Y eredmény- és X magyarázó változót, miközben Z az összes többi változó együttesét jelöli. A változók standardizált formáját használva, tekintsük az

X q

qX

XZ Z X

Xˆ =a +...+a = -e

1

1 Yˆ=a_YZ +...+a_qYZ_q =Y-e_Y

1 1

modelleket.

8 A T felső index az illető mátrix (vektor) transzponáltját jelöli.

(11)

E modellekre (lásd a Függeléket, valamint a parciális meredekségek /23/ alatti meg- határozását):

(

^ZZ ^XZ

) (

^T ^ZZ ^ZZ ^YZ

)

^XZ^T ^ZZ ^YZ

Y T ZZ Y X

CX_ˆ_,_ˆ =α R α = R^-¹r R R^-¹r =r R^-¹r

ahol az rYZ vektor az Y változónak valamennyi Z változóval, az rXZ vektor az X változónak valamennyi Z változóval, az RZZ mátrix pedig a Z változók egymással vett páronkénti kor- relációit tartalmazza.

Ekkor, a parciális korreláció /14/ definíciója szerint:

Y X

q r r

r_X_,_Y_._Z₁_,...,_Z = _X_,_Y_._Z = _e _,_e

2. 2.

,ˆ , ˆ

1

1 _X_Z _Y_Z

Y Y X X

R R

C r

- -

= -

2. 2.

, 1

1

1 _X_Z _Y_Z

YZ T ZZ XZ Y X

R R

r

- -

= -r R^- r

, /31/

ahol R_X²_.Z és R_Y²_.Z az Y.Z1,...,Zq és X.Z1,...,Zq modellek többszörös determinációs együtt- hatói.

Amennyiben csak egyetlen Z változót definiálunk, úgy a fenti formula a /14/ képletre egyszerűsödik.

A parciális korreláció a változók számától függetlenül, mindig számolható a klasz- szikus, háromváltozós /14/ formulával, egy lépéssorozat eredményeképpen. Például négy változó (rendre X,Y,U,Z) esetén az rX,Y.U,Z parciális korreláció meghatározása az alábbiak szerint is végrehajtható. Szűrjük ki előbb U lineáris hatását az összes többi változóból, majd az eredményül kapott három parciális korrelációt tisztítsuk meg Z li- neáris hatásától:

2, . 2, .

. , . , . , ,

.

, 1 _X _Z_U 1 _Y_Z_U

U Z Y U Z X U Y U X Z Y

X r r

r r r r

- -

= - . /32/

Mivel /27/ és /28/ értelmében a parciális determinációs együttható a többszörös de- terminációs együttható relatív növekményét jellemzi a vonatkozó változóval történő bő- vítés hatására, ezért a parciális korreláció /32/ formulájának az alkalmazásával bármilyen modell többszörös determinációs együtthatója fölépíthető a kétváltozós modelléből kiindulva.

REZIDUÁLIS KÖVETELMÉNYEK A PARAMÉTERBECSLÉS TÜKRÉBEN

Végezzünk i=1,…,n számú megfigyelést az eredményváltozóra vonatkozóan, a ma- gyarázó változók rögzített xi=[Xi1,...,Xij,...,Xip]^T értékei mellett. Az így nyert y=[y1,...,yi,...,yn]^T minta alapján becsüljük a parciális meredekségeket, és a becsléseket a bX=[b1,...,bj,...,bp]^T vektorba foglaljuk.⁹ Ha szerepel a modellben tengelymetszet, akkor ennek becsült értéke b0.

9 A mintavétel módjára egyáltalán nem, a becslési módszerre pedig egyelőre nem teszünk megszorítást.

(12)

A modell által a mintából meg nem magyarázott e=[e1,...,ei,...,en]^T reziduális (mara- dék) részek figyelembe vételével:

e Xb

y= + , /33/

ahol az X mátrix i-edik sora [1,Xi1,...,Xij,...,Xip] és b=[b0,b1,...,bj,...,bp]^Tlesz.¹⁰ A lineáris regresszió a változók mintán belüli átlagos értékeire is fennáll:

e X b b

y ^p _j

j j +

+

=

å

=1

0 , /34/

ahol y=¹n

å

ⁿ_i=₁y_i, és e értéke a paraméterek birtokában kivonással adódik.

A b paraméterek becslési módszerét annak függvényében választjuk meg, hogy az ei

reziduumokkal szemben milyen követelményeket támasztunk.

A korrelálatlansági kritérium

Amennyiben a magyarázó változók bármelyikével korrelálatlan reziduum az elvárá- sunk, ez független attól, hogy becsülünk-e tengelymetszetet vagy sem. A korrelálat- lansági követelménynek mindig eleget teszünk, ha a parciális meredekségeket – /21/

analógiájára – a

Xy XX

X C c

b ₀ = ^-¹ /35/

formulával becsüljük, ahol

úú úú û ù

êê êê ë é

=

y X

y X Xy

C p

C

, 1,

M

c .

Ez esetben a tengelymetszet becsült értéke annak függvénye, hogy a reziduumok át- lagára milyen megkötést teszünk. Ha elvárás, hogy a reziduumok átlaga zérus legyen, akkor a /34/ összefüggésből a tengelymetszetre

p pX b X

b y

b00= - 1 1-K-

adódik. Amennyiben a tengelymetszet értékét másképp választjuk meg, úgy e¹0. A legkisebb négyzetek kritérium

Ha viszont célunk a reziduális négyzetösszeg minimálása, akkor ez a célfüggvény – mint az közismert – az X^Te=0 normálegyenletrendszer teljesülése esetén minimált. Ennek

10 Ha a modell nem tartalmaz tengelymetszetet, akkor b=bX és az X mátrix oszlopaiból elhagyjuk az összegző vektort.

(13)

tudatában a /33/ azonosság mindkét oldalát balról szorozva az X^T mátrixszal, majd átren- dezve az egyenletet az

y X X X^T ) ¹ ^T

( ^-

becslőfüggvényt kapjuk, melynek eredménye b, ha a modell tartalmaz tengelymetszetet, és bX ha nem.¹¹

Látható, hogy a normálegyenletrendszer kizárólag akkor ekvivalens a korrelálat- lansági követelménnyel, ha a modell tartalmaz tengelymetszetet. Ekkor ugyanis e=0, és ebből következően: X^Te = n×cXe = 0. Ebben az esetben természetesen [b00, bX0] = b, egyébként viszont bX0 ¹ bX.

Ha tehát nem indokolt a tengelymetszet elhagyása, úgy szerepeltetésével egyidejűleg minimáljuk a reziduális négyzetösszeget, és a magyarázó változókkal korrelálatlan reziduumokat biztosítunk.

FÜGGELÉK

A KOVARIANCIA LINEÁRIS DEKOMPOZÍCIÓJA

Tekintsük az Xj centrált (átlagtól vett eltéréssel helyettesített) változók a_j súlyokkal definiált

j p j ajX

X å

= = 1

és az Yt változók b_tsúlyokkal képzett

t q t btY Y å

= = 1

lineáris kombinációit. Ekkor az X és Y változók közötti (i=1,…,N megfigyelés alapján számított) CX,Y kovariancia felírható, mint az Xj és Yt változók közötti kovarianciák lineáris kombinációja, az alábbi módon:

t jY X t p j

q

t j

N

i i i

Y

X X Y a bC

C N _,

1 1 , 1

1 å å å

= =

=

vagy mátrix jelöléssel bi-kvadratikus formában:

CX,Y = a^T CXY b ,

ahol a és b a súlyokat tartalmazó vektorok, CXY pedig az Xj és Yt változók közötti kovarianciákat tartalmazó (p,q) rendű, tehát nem föltétlenül szimmetrikus mátrix.

IRODALOM GREEN, H. (1993): Econometric analysis. Macmillan, New York.

HAJDU O. – HERMAN S. – PINTÉR – RAPPAI G.– RÉDEY K. (1994): Statisztika I-II. Janus Pannonius Tudományegyetem, Pécs.

11 Természetesen a tengelymetszetet tartalmazó modell minimált reziduális négyzetösszege kisebb (nem nagyobb), mint a tengelymetszet nélkül specifikált modell minimált reziduális négyzetösszege.

(14)

HAJDU O. – HUNYADI L. – VITA L. (2001): Statisztikai elemzések. Egyetemi jegyzet. Aula, Budapest.

HUNYADI, L. (2001): Statisztikai következtetéselmélet közgazdászoknak. Központi Statisztikai Hivatal, Budapest.

HUNYADI L. – MUNDRUCZÓ GY. – VITA L. (1996): Statisztika. Aula, Budapest.

KERÉKGYÁRTÓ GY-NÉ – MUNDRUCZÓ GY. –SUGÁR A. (2001): Statisztikai módszerek és alkalmazásuk a gazdasági, üzleti elem- zésekben. Aula, Budapest.

KÖVES, P. – PÁRNICZKY, G. (1982): Általános Statisztika I-II. (3. átdolgozott kiadás). Közgazdasági és Jogi Könyvkiadó, Buda- pest.

MUNDRUCZÓ, GY. (1981): Alkalmazott regressziószámítás. Akadémiai Kiadó, Budapest.

MYERS, R. (1990): Classical and modern regression with applications. 2^nd PWS-KENT, Boston.

WEISBERG, S. (1985): Applied linear regression. Wiley, New York.

SUMMARY

The paper discusses the structure of the linear regression model. The focus is on the initial assumption of an error term uncorrelated with the explanatory variables. The main question is what further model properties can be derived assuming merely an error term that meets the initial requirement. The paper shows that several basic model parameters such as regression coefficients, multiple R² and partial correlation coefficients can also be defined as model components analogous to those calculated from the sample. Further, the study high- lightes the meaning of the parameters.

Finally, the paper investigates the similarities and differences between the estimators of the regression coefficients, based on the one hand on an uncorrelated error term and on the other hand on a least squares resid- ual term.