Statisztika
Statisztika
Nagy Gergely G´abor
BME SZIT
2012. m´ajus 3.
V´ azlat
Val´osz´ın˝us´egsz´am´ıt´asi alapok Becsl´eselm´elet
Hipot´eziselm´elet
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Val´osz´ın˝us´egi mez˝o
Val´ osz´ın˝ us´ egi mez˝ o defin´ıci´ oja
(Ω,F, P) h´armas val´osz´ın˝us´egi mez˝o, ha Ω: alaphalmaz (elemi esem´enyek)
Val´ osz´ın˝ us´ egi mez˝ o defin´ıci´ oja
(Ω,F, P) h´armas val´osz´ın˝us´egi mez˝o, ha Ω: alaphalmaz (elemi esem´enyek)
F ⊆2Ω σ-algebra (esem´enyek, m´erhet˝o halmazok) F 6=∅
A∈ F =⇒Ω\A∈ F
A1, A2, . . .∈ F=⇒A1∪A2∪. . .∈ F
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Val´osz´ın˝us´egi mez˝o
Val´ osz´ın˝ us´ egi mez˝ o defin´ıci´ oja
(Ω,F, P) h´armas val´osz´ın˝us´egi mez˝o, ha Ω: alaphalmaz (elemi esem´enyek)
F ⊆2Ω σ-algebra (esem´enyek, m´erhet˝o halmazok) F 6=∅
A∈ F =⇒Ω\A∈ F
A1, A2, . . .∈ F=⇒A1∪A2∪. . .∈ F P :F →[0,1]σ-addit´ıv (val´osz´ın˝us´egfv)
A1, A2, . . .∈ F diszjunktak
=⇒P(A1∪A2∪. . .) =P(A1) +P(A2) +. . . P(Ω) = 1
Diszkr´ et p´ elda
Ω ={fej, ´ır´as}
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Val´osz´ın˝us´egi mez˝o
Diszkr´ et p´ elda
Ω ={fej, ´ır´as}
F= 2Ω={∅,{fej},{´ır´as},{fej, ´ır´as}}
Diszkr´ et p´ elda
Ω ={fej, ´ır´as}
F= 2Ω={∅,{fej},{´ır´as},{fej, ´ır´as}}
P(∅) = 0 P({fej}) = 12 P({´ır´as}) = 12 P({fej, ´ır´as}) = 1
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Val´osz´ın˝us´egi v´altoz´o
Val´ osz´ın˝ us´ egi v´ altoz´ o defin´ıci´ oja (val´ os eset)
X: Ω→R val´osz´ın˝us´egi v´altoz´o, ha m´erhet˝o, azaz∀x∈R-re
X−1((−∞, x]) ={ω ∈Ω|X(ω)≤x} ∈ F
Val´ osz´ın˝ us´ egi v´ altoz´ o defin´ıci´ oja (val´ os eset)
X: Ω→R val´osz´ın˝us´egi v´altoz´o, ha m´erhet˝o, azaz∀x∈R-re
X−1((−∞, x]) ={ω ∈Ω|X(ω)≤x} ∈ F Xeloszl´asaQ=P◦X−1
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Val´osz´ın˝us´egi v´altoz´o
Val´ osz´ın˝ us´ egi v´ altoz´ o defin´ıci´ oja (val´ os eset)
X: Ω→R val´osz´ın˝us´egi v´altoz´o, ha m´erhet˝o, azaz∀x∈R-re
X−1((−∞, x]) ={ω ∈Ω|X(ω)≤x} ∈ F Xeloszl´asaQ=P◦X−1
Xeloszl´asf¨uggv´enye F :R→[0,1], ha
∀x∈R-re F(x) =Q((−∞, x]) =P(X ≤x)
Val´ osz´ın˝ us´ egi v´ altoz´ o defin´ıci´ oja (val´ os eset)
X: Ω→R val´osz´ın˝us´egi v´altoz´o, ha m´erhet˝o, azaz∀x∈R-re
X−1((−∞, x]) ={ω ∈Ω|X(ω)≤x} ∈ F Xeloszl´asaQ=P◦X−1
Xeloszl´asf¨uggv´enye F :R→[0,1], ha
∀x∈R-re F(x) =Q((−∞, x]) =P(X ≤x) Xs˝ur˝us´egf¨uggv´enye f :R→[0,∞), ha
∀x∈R-re F(x) =Rx
−∞f(u)du (Ha F deriv´alhat´o, akkorf =F′)
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Val´osz´ın˝us´egi v´altoz´o
V´ arhat´ o ´ ert´ ek, sz´ or´ asn´ egyzet
Xv´arhat´o ´ert´ekeE(X) =R∞
−∞xf(x)dx
V´ arhat´ o ´ ert´ ek, sz´ or´ asn´ egyzet
Xv´arhat´o ´ert´ekeE(X) =R∞
−∞xf(x)dx h(X) v´arhat´o ´ert´ekeE(h(X)) =R∞
−∞h(x)f(x)dx
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Val´osz´ın˝us´egi v´altoz´o
V´ arhat´ o ´ ert´ ek, sz´ or´ asn´ egyzet
Xv´arhat´o ´ert´ekeE(X) =R∞
−∞xf(x)dx h(X) v´arhat´o ´ert´ekeE(h(X)) =R∞
−∞h(x)f(x)dx
Xsz´or´asn´egyzete D2(X) =E((X−E(X))2) =E(X2)−E2(X)
Norm´ alis eloszl´ as
N(µ, σ2) norm´alis eloszl´as
s˝ur˝us´egf¨uggv´enye f(x) = √1
2πσ2e−(x−µ)22σ2 eloszl´asf¨uggv´enye F(x) = 12
1 + erf
x−µ
√2πσ2
v´arhat´o ´ert´ekeµ
sz´or´asn´egyzete σ2
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Norm´alis eloszl´as
Norm´ alis eloszl´ as
N(µ, σ2) norm´alis eloszl´as
s˝ur˝us´egf¨uggv´enye f(x) = √1
2πσ2e−(x−µ)22σ2 eloszl´asf¨uggv´enye F(x) = 12
1 + erf
x−µ
√2πσ2
v´arhat´o ´ert´ekeµ
sz´or´asn´egyzete σ2
N(0,1)standard norm´alis eloszl´as s˝ur˝us´egf¨uggv´enye f(x) = √1
2πe−x
2 2
eloszl´asf¨uggv´enye F(x) = Φ(x) = 12
1 + erf
√x 2π
v´arhat´o ´ert´eke0
sz´or´asn´egyzete 1
Norm´ alis eloszl´ as
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Norm´alis eloszl´as
Centr´ alis hat´ areloszl´ as-t´ etel
Mi´ert j´o a norm´alis eloszl´as ?
Centr´ alis hat´ areloszl´ as-t´ etel
Mi´ert j´o a norm´alis eloszl´as ?
LegyenekX1, X2, . . . azonos eloszl´as´u f¨uggetlen val´osz´ın˝us´egi v´altoz´okµv´arhat´o ´ert´ekkel ´esσ2 v´eges sz´or´asn´egyzettel.
LegyenSn= X1+X2n+···+Xn az els˝o nv´altoz´o ´atlaga.
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Norm´alis eloszl´as
Centr´ alis hat´ areloszl´ as-t´ etel
Mi´ert j´o a norm´alis eloszl´as ?
LegyenekX1, X2, . . . azonos eloszl´as´u f¨uggetlen val´osz´ın˝us´egi v´altoz´okµv´arhat´o ´ert´ekkel ´esσ2 v´eges sz´or´asn´egyzettel.
LegyenSn= X1+X2n+···+Xn az els˝o nv´altoz´o ´atlaga.
Centr´alis hat´areloszl´as-t´etel :√
n(Sn−µ)−→d N(0, σ2) Atrendezgetve :´ Sn≈N(µ,σn2)
Statisztikai mez˝ o defin´ıci´ oja
(Ω,F,P) h´armas statisztikai mez˝o, ha
∀P ∈ P-re (Ω,F, P) val´osz´ın˝us´egi mez˝o
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Statisztikai mez˝o
Statisztikai mez˝ o defin´ıci´ oja
(Ω,F,P) h´armas statisztikai mez˝o, ha
∀P ∈ P-re (Ω,F, P) val´osz´ın˝us´egi mez˝o
Param´eteres alak :P ={Pϑ|ϑ∈Θ}, gyakran Θ⊆Rp
Statisztikai mez˝ o defin´ıci´ oja
(Ω,F,P) h´armas statisztikai mez˝o, ha
∀P ∈ P-re (Ω,F, P) val´osz´ın˝us´egi mez˝o
Param´eteres alak :P ={Pϑ|ϑ∈Θ}, gyakran Θ⊆Rp
Mi most feltessz¨uk, hogy mindenPϑ-nak van fϑs˝ur˝us´egf¨uggv´enye.
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Statisztikai mez˝o
Minta
Minta:X: Ω→ X m´erhet˝o lek´epez´es (X a mintat´er)
Minta
Minta:X: Ω→ X m´erhet˝o lek´epez´es (X a mintat´er) Spec. eset (nelem˝u f¨uggetlen minta) :
X = (X1, . . . , Xn), ahol X1, . . . , Xn azonos eloszl´as´u, f¨uggetlen v´altoz´ok.
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Statisztikai mez˝o
Statisztika
Statisztika:T :X →. . . m´erhet˝o f¨uggv´eny
Statisztika
Statisztika:T :X →. . . m´erhet˝o f¨uggv´eny P´eld´aul :
Atlag´ :T(X) =X= n1 Pn i=1Xi
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Statisztikai mez˝o
Statisztika
Statisztika:T :X →. . . m´erhet˝o f¨uggv´eny P´eld´aul :
Atlag´ :T(X) =X= n1 Pn i=1Xi
Tapasztalati sz´or´asn´egyzet:T(X) =s2n= n1Pn
i=1(Xi−X)2
Statisztika
Statisztika:T :X →. . . m´erhet˝o f¨uggv´eny P´eld´aul :
Atlag´ :T(X) =X= n1 Pn i=1Xi
Tapasztalati sz´or´asn´egyzet:T(X) =s2n= n1Pn
i=1(Xi−X)2 Korrig´alt tapasztalati sz´or´asn´egyzet:
T(X) =s∗n2 = n1
−1
Pn
i=1(Xi−X)2
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Statisztikai mez˝o
Statisztika
Statisztika:T :X →. . . m´erhet˝o f¨uggv´eny P´eld´aul :
Atlag´ :T(X) =X= n1 Pn i=1Xi
Tapasztalati sz´or´asn´egyzet:T(X) =s2n= n1Pn
i=1(Xi−X)2 Korrig´alt tapasztalati sz´or´asn´egyzet:
T(X) =s∗n2 = n1
−1
Pn
i=1(Xi−X)2 Tapasztalati eloszl´as:T(X) =Q∗n, ahol Q∗n(B) = n1Pn
i=1I(Xi ∈B)
Statisztika
Statisztika:T :X →. . . m´erhet˝o f¨uggv´eny P´eld´aul :
Atlag´ :T(X) =X= n1 Pn i=1Xi
Tapasztalati sz´or´asn´egyzet:T(X) =s2n= n1Pn
i=1(Xi−X)2 Korrig´alt tapasztalati sz´or´asn´egyzet:
T(X) =s∗n2 = n1
−1
Pn
i=1(Xi−X)2 Tapasztalati eloszl´as:T(X) =Q∗n, ahol Q∗n(B) = n1Pn
i=1I(Xi ∈B)
Tapasztalati eloszl´asf¨uggv´eny:T(X) =Fn∗, ahol Fn∗(x) = n1Pn
i=1I(Xi≤x)
Statisztika
Val´osz´ın˝us´egsz´am´ıt´asi alapok Statisztikai mez˝o
Glivenko-Cantelli t´ etel (a statisztika alapt´ etele)
Glivenko-Cantelli t´etel :P(supx∈R|Fn∗(x)−F(x)| →0) = 1, azaz a tapasztalati eloszl´asf¨uggv´eny1 val´osz´ın˝us´eggel egyenletesen konverg´al a val´odihoz.
Becsl´ es
ϕ(P)-t szeretn´enk becs¨ulni, ahol ϕ:P →Rk f¨uggv´eny.
HaP ={Pϑ|ϑ∈Θ}, akkorg(ϑ) =ϕ(Pϑ)-t kell becs¨uln¨unk.
Statisztika Becsl´eselm´elet
Becsl´es
Becsl´ es
ϕ(P)-t szeretn´enk becs¨ulni, ahol ϕ:P →Rk f¨uggv´eny.
HaP ={Pϑ|ϑ∈Θ}, akkorg(ϑ) =ϕ(Pϑ)-t kell becs¨uln¨unk.
g(ϑ) becsl´ese:T :X →Rk
Becsl´ es
ϕ(P)-t szeretn´enk becs¨ulni, ahol ϕ:P →Rk f¨uggv´eny.
HaP ={Pϑ|ϑ∈Θ}, akkorg(ϑ) =ϕ(Pϑ)-t kell becs¨uln¨unk.
g(ϑ) becsl´ese:T :X →Rk T torz´ıtatlan becsl´es, ha
∀ϑ∈Θ-raEϑ(T(X)) =g(ϑ)
Statisztika Becsl´eselm´elet
Becsl´es
Becsl´ es
ϕ(P)-t szeretn´enk becs¨ulni, ahol ϕ:P →Rk f¨uggv´eny.
HaP ={Pϑ|ϑ∈Θ}, akkorg(ϑ) =ϕ(Pϑ)-t kell becs¨uln¨unk.
g(ϑ) becsl´ese:T :X →Rk T torz´ıtatlan becsl´es, ha
∀ϑ∈Θ-raEϑ(T(X)) =g(ϑ) T torz´ıt´asabT(ϑ) =Eϑ(T(X))−g(ϑ)
Vesztes´ eg, rizik´ o
w:Rk×Θ→Rvesztes´egf¨uggv´eny, ahol
(jelent´ese : ha ϑaz igazi param´eter ´es g(ϑ)-tT-vel becs¨ulj¨uk, akkor a vesztes´eg¨unkw(T, ϑ))
w(g(ϑ), ϑ) = 0 w(T, ϑ)≥0
w els˝o v´altoz´oj´aban konvex
Statisztika Becsl´eselm´elet
Becsl´es
Vesztes´ eg, rizik´ o
w:Rk×Θ→Rvesztes´egf¨uggv´eny, ahol
(jelent´ese : ha ϑaz igazi param´eter ´es g(ϑ)-tT-vel becs¨ulj¨uk, akkor a vesztes´eg¨unkw(T, ϑ))
w(g(ϑ), ϑ) = 0 w(T, ϑ)≥0
w els˝o v´altoz´oj´aban konvex
T rizik´of¨uggv´enyeRT(ϑ) =Eϑ(w(T(X), ϑ))(az ´atlagos vesztes´eg)
Vesztes´ eg, rizik´ o
w:Rk×Θ→Rvesztes´egf¨uggv´eny, ahol
(jelent´ese : ha ϑaz igazi param´eter ´es g(ϑ)-tT-vel becs¨ulj¨uk, akkor a vesztes´eg¨unkw(T, ϑ))
w(g(ϑ), ϑ) = 0 w(T, ϑ)≥0
w els˝o v´altoz´oj´aban konvex
T rizik´of¨uggv´enyeRT(ϑ) =Eϑ(w(T(X), ϑ))(az ´atlagos vesztes´eg)
P´elda (n´egyzetes vesztes´egf¨uggv´eny) : w(T, ϑ) =kT−g(ϑ)k2
Statisztika Becsl´eselm´elet
Becsl´es
Vesztes´ eg, rizik´ o
w:Rk×Θ→Rvesztes´egf¨uggv´eny, ahol
(jelent´ese : ha ϑaz igazi param´eter ´es g(ϑ)-tT-vel becs¨ulj¨uk, akkor a vesztes´eg¨unkw(T, ϑ))
w(g(ϑ), ϑ) = 0 w(T, ϑ)≥0
w els˝o v´altoz´oj´aban konvex
T rizik´of¨uggv´enyeRT(ϑ) =Eϑ(w(T(X), ϑ))(az ´atlagos vesztes´eg)
P´elda (n´egyzetes vesztes´egf¨uggv´eny) : w(T, ϑ) =kT−g(ϑ)k2
RT(ϑ) =Eϑ(kT−g(ϑ)k2)
Vesztes´ eg, rizik´ o
w:Rk×Θ→Rvesztes´egf¨uggv´eny, ahol
(jelent´ese : ha ϑaz igazi param´eter ´es g(ϑ)-tT-vel becs¨ulj¨uk, akkor a vesztes´eg¨unkw(T, ϑ))
w(g(ϑ), ϑ) = 0 w(T, ϑ)≥0
w els˝o v´altoz´oj´aban konvex
T rizik´of¨uggv´enyeRT(ϑ) =Eϑ(w(T(X), ϑ))(az ´atlagos vesztes´eg)
P´elda (n´egyzetes vesztes´egf¨uggv´eny) : w(T, ϑ) =kT−g(ϑ)k2
RT(ϑ) =Eϑ(kT−g(ϑ)k2)
k= 1 esetben RT(ϑ) =Eϑ((T −g(ϑ))2) =Dϑ2(T−g(ϑ)) + +Eϑ2(T −g(ϑ)) =D2ϑ(T) +b2T(ϑ)
Statisztika Becsl´eselm´elet
Becsl´es
Becsl´ esek ¨ osszehasonl´ıt´ asa
T1, T2 becsl´esek ugyanarra ag(ϑ)-ra. Melyik a jobb ?
Becsl´ esek ¨ osszehasonl´ıt´ asa
T1, T2 becsl´esek ugyanarra ag(ϑ)-ra. Melyik a jobb ? T1 jobb (
”nem rosszabb”), mint T2, ha ϑRT1(ϑ)≤RT2(ϑ) fenn´all mindenϑ-ra.
Statisztika Becsl´eselm´elet
Becsl´es
Becsl´ esek ¨ osszehasonl´ıt´ asa
T1, T2 becsl´esek ugyanarra ag(ϑ)-ra. Melyik a jobb ? T1 jobb (
”nem rosszabb”), mint T2, ha ϑRT1(ϑ)≤RT2(ϑ) fenn´all mindenϑ-ra.
LegyenD becsl´esek egy oszt´alya.T ∈ D optim´alis, ha minden D-beli becsl´esn´el jobb.
Becsl´ esek ¨ osszehasonl´ıt´ asa
T1, T2 becsl´esek ugyanarra ag(ϑ)-ra. Melyik a jobb ? T1 jobb (
”nem rosszabb”), mint T2, ha ϑRT1(ϑ)≤RT2(ϑ) fenn´all mindenϑ-ra.
LegyenD becsl´esek egy oszt´alya.T ∈ D optim´alis, ha minden D-beli becsl´esn´el jobb.
HaD a torz´ıtatlan becsl´esek oszt´alya, ´esw n´egyzetes
vesztes´egf¨uggv´eny, akkor az optim´alisthat´asosnak h´ıvjuk. Gyakran MVUE(minimum-variance unbiased estimator).
Statisztika Becsl´eselm´elet
Becsl´esi m´odszerek
Tapasztalati becsl´ es
Haϕ az eloszl´asokon van ´ertelmezve,ϕ(Q)-t szeretn´enk becs¨ulni, Qa val´odi eloszl´asf¨uggv´eny.
Tapasztalati becsl´es:ϕ(Q)-t ϕ(Q∗n)-gal becs¨ulj¨uk.
Tapasztalati becsl´ es
Haϕ az eloszl´asokon van ´ertelmezve,ϕ(Q)-t szeretn´enk becs¨ulni, Qa val´odi eloszl´asf¨uggv´eny.
Tapasztalati becsl´es:ϕ(Q)-t ϕ(Q∗n)-gal becs¨ulj¨uk.
P´eld´aul :
Az ´atlag (X) a v´arhat´o ´ert´ek (E) tapasztalati becsl´ese.
Statisztika Becsl´eselm´elet
Becsl´esi m´odszerek
Tapasztalati becsl´ es
Haϕ az eloszl´asokon van ´ertelmezve,ϕ(Q)-t szeretn´enk becs¨ulni, Qa val´odi eloszl´asf¨uggv´eny.
Tapasztalati becsl´es:ϕ(Q)-t ϕ(Q∗n)-gal becs¨ulj¨uk.
P´eld´aul :
Az ´atlag (X) a v´arhat´o ´ert´ek (E) tapasztalati becsl´ese.
A tapasztalati sz´or´asn´egyzet (s2n) a sz´or´asn´egyzet (D2) tapasztalati becsl´ese.
Tapasztalati becsl´ es
Haϕ az eloszl´asokon van ´ertelmezve,ϕ(Q)-t szeretn´enk becs¨ulni, Qa val´odi eloszl´asf¨uggv´eny.
Tapasztalati becsl´es:ϕ(Q)-t ϕ(Q∗n)-gal becs¨ulj¨uk.
P´eld´aul :
Az ´atlag (X) a v´arhat´o ´ert´ek (E) tapasztalati becsl´ese.
A tapasztalati sz´or´asn´egyzet (s2n) a sz´or´asn´egyzet (D2) tapasztalati becsl´ese.
A tapasztalati eloszl´asf¨uggv´eny (Fn∗) az eloszl´asf¨uggv´eny (F) tapasztalati becsl´ese.
Statisztika Becsl´eselm´elet
Becsl´esi m´odszerek
Momentum-m´ odszer
Legyen mostg(ϑ) =ϑ, azaz mag´at a param´etert szeretn´enk becs¨ulni (ϑ∈Θ⊆Rp)
Momentum-m´ odszer
Legyen mostg(ϑ) =ϑ, azaz mag´at a param´etert szeretn´enk becs¨ulni (ϑ∈Θ⊆Rp)
V´alasszunk egy olyanf :X →Rp f¨uggv´enyt, amire h(ϑ) =Eϑ(f(X1))invert´alhat´oRp →Rp lek´epez´es.
Statisztika Becsl´eselm´elet
Becsl´esi m´odszerek
Momentum-m´ odszer
Legyen mostg(ϑ) =ϑ, azaz mag´at a param´etert szeretn´enk becs¨ulni (ϑ∈Θ⊆Rp)
V´alasszunk egy olyanf :X →Rp f¨uggv´enyt, amire h(ϑ) =Eϑ(f(X1))invert´alhat´oRp →Rp lek´epez´es.
h(ϑ)-t nelem˝u mint´ab´ol ´ıgy becs¨ulhetj¨uk : n1Pn
i=1f(Xi)
Momentum-m´ odszer
Legyen mostg(ϑ) =ϑ, azaz mag´at a param´etert szeretn´enk becs¨ulni (ϑ∈Θ⊆Rp)
V´alasszunk egy olyanf :X →Rp f¨uggv´enyt, amire h(ϑ) =Eϑ(f(X1))invert´alhat´oRp →Rp lek´epez´es.
h(ϑ)-t nelem˝u mint´ab´ol ´ıgy becs¨ulhetj¨uk : n1Pn
i=1f(Xi) Ezalapj´anϑbecsl´ese :Tn(X) =h−1 1nPn
i=1f(Xi)
Statisztika Becsl´eselm´elet
Becsl´esi m´odszerek
Momentum-m´ odszer
Legyen mostg(ϑ) =ϑ, azaz mag´at a param´etert szeretn´enk becs¨ulni (ϑ∈Θ⊆Rp)
V´alasszunk egy olyanf :X →Rp f¨uggv´enyt, amire h(ϑ) =Eϑ(f(X1))invert´alhat´oRp →Rp lek´epez´es.
h(ϑ)-t nelem˝u mint´ab´ol ´ıgy becs¨ulhetj¨uk : n1Pn
i=1f(Xi) Ezalapj´anϑbecsl´ese :Tn(X) =h−1 1nPn
i=1f(Xi) Ezt a fajta becsl´est h´ıvj´akmomentum-m´odszernek. Mi´ert ?
Momentum-m´ odszer
Legyen mostg(ϑ) =ϑ, azaz mag´at a param´etert szeretn´enk becs¨ulni (ϑ∈Θ⊆Rp)
V´alasszunk egy olyanf :X →Rp f¨uggv´enyt, amire h(ϑ) =Eϑ(f(X1))invert´alhat´oRp →Rp lek´epez´es.
h(ϑ)-t nelem˝u mint´ab´ol ´ıgy becs¨ulhetj¨uk : n1Pn
i=1f(Xi) Ezalapj´anϑbecsl´ese :Tn(X) =h−1 1nPn
i=1f(Xi) Ezt a fajta becsl´est h´ıvj´akmomentum-m´odszernek. Mi´ert ? Gyakranf olyan, hogy a koordin´at´ai momentumok. P´eld´aul f(x) = (xk1, xk2, . . . , xkp).
Statisztika Becsl´eselm´elet
Becsl´esi m´odszerek
Maximum-likelihood becsl´ es
Likelihood-f¨uggv´eny:L(ϑ|x) =fϑ(x) (nelem˝u f¨uggetlen mint´an´alfϑ(x) =Qn
i=1fϑ(xi))
Maximum-likelihood becsl´ es
Likelihood-f¨uggv´eny:L(ϑ|x) =fϑ(x) (nelem˝u f¨uggetlen mint´an´alfϑ(x) =Qn
i=1fϑ(xi))
ϑML-becsl´eseaz a ϑˆ∈Θ´ert´ek, amire a likelihood-f¨uggv´eny maxim´alis :fϑˆ(x) = maxϑ∈Θfϑ(x).
Statisztika Becsl´eselm´elet
Becsl´esi m´odszerek
Maximum-likelihood becsl´ es
Likelihood-f¨uggv´eny:L(ϑ|x) =fϑ(x) (nelem˝u f¨uggetlen mint´an´alfϑ(x) =Qn
i=1fϑ(xi))
ϑML-becsl´eseaz a ϑˆ∈Θ´ert´ek, amire a likelihood-f¨uggv´eny maxim´alis :fϑˆ(x) = maxϑ∈Θfϑ(x).
Nem biztos, hogy l´etezik, sem az hogy egy´ertelm˝u.
Maximum-likelihood becsl´ es
Likelihood-f¨uggv´eny:L(ϑ|x) =fϑ(x) (nelem˝u f¨uggetlen mint´an´alfϑ(x) =Qn
i=1fϑ(xi))
ϑML-becsl´eseaz a ϑˆ∈Θ´ert´ek, amire a likelihood-f¨uggv´eny maxim´alis :fϑˆ(x) = maxϑ∈Θfϑ(x).
Nem biztos, hogy l´etezik, sem az hogy egy´ertelm˝u.
g(ϑ) ML-becsl´eseg( ˆϑ).
Statisztika Hipot´ezisvizsg´alat
Hipot´ezis
Hipot´ ezisvizsg´ alat
A param´eterteret k´et r´eszre bontjuk :Θ = Θ0∪˙Θ1. A(null)hipot´ezis¨unk (H0) az, hogyϑ∈Θ0. Azellenhipot´ezis¨unk(H1) pedig, hogy ϑ∈Θ1.
Hipot´ ezisvizsg´ alat
A param´eterteret k´et r´eszre bontjuk :Θ = Θ0∪˙Θ1. A(null)hipot´ezis¨unk (H0) az, hogyϑ∈Θ0. Azellenhipot´ezis¨unk(H1) pedig, hogy ϑ∈Θ1. K´erd´es : lehet-e t´enyleg, hogy teljes¨ul H0?
Ez nem szimmetrikus, az a prekoncepci´onk, hogy H0 igaz, ezt elfogadhatjuk vagy elvethetj¨uk.
Statisztika Hipot´ezisvizsg´alat
Hipot´ezis
Hipot´ ezisvizsg´ alat
A param´eterteret k´et r´eszre bontjuk :Θ = Θ0∪˙Θ1. A(null)hipot´ezis¨unk (H0) az, hogyϑ∈Θ0. Azellenhipot´ezis¨unk(H1) pedig, hogy ϑ∈Θ1. K´erd´es : lehet-e t´enyleg, hogy teljes¨ul H0?
Ez nem szimmetrikus, az a prekoncepci´onk, hogy H0 igaz, ezt elfogadhatjuk vagy elvethetj¨uk.
K´et f´ele hiba lehet :
Els˝ofaj´u hib´at k¨ovet¨unk el, ha elvetj¨uk H0-t, pedig igaz. Ezt nem akarjuk !
Hipot´ ezisvizsg´ alat
A param´eterteret k´et r´eszre bontjuk :Θ = Θ0∪˙Θ1. A(null)hipot´ezis¨unk (H0) az, hogyϑ∈Θ0. Azellenhipot´ezis¨unk(H1) pedig, hogy ϑ∈Θ1. K´erd´es : lehet-e t´enyleg, hogy teljes¨ul H0?
Ez nem szimmetrikus, az a prekoncepci´onk, hogy H0 igaz, ezt elfogadhatjuk vagy elvethetj¨uk.
K´et f´ele hiba lehet :
Els˝ofaj´u hib´at k¨ovet¨unk el, ha elvetj¨uk H0-t, pedig igaz. Ezt nem akarjuk !
M´asodfaj´u hib´at k¨ovet¨unk el, ha elfogadjukH0-t, pedig hamis. Ez nem annyira nagy gond.
Statisztika Hipot´ezisvizsg´alat
Statisztikai pr´oba
Statisztikai pr´ oba
A mintateret k´et r´eszre bontjuk :X =X0∪X˙ 1. X0 azelfogad´asi´es X1 azelvet´esi tartom´any.
Statisztikai pr´ oba
A mintateret k´et r´eszre bontjuk :X =X0∪X˙ 1. X0 azelfogad´asi´es X1 azelvet´esi tartom´any.
HaX ∈ X0, akkor elfogadjukH0-t, ha pedigX ∈ X1, akkor elvetj¨uk.
Statisztika Hipot´ezisvizsg´alat
Statisztikai pr´oba
Statisztikai pr´ oba
A mintateret k´et r´eszre bontjuk :X =X0∪X˙ 1. X0 azelfogad´asi´es X1 azelvet´esi tartom´any.
HaX ∈ X0, akkor elfogadjukH0-t, ha pedigX ∈ X1, akkor elvetj¨uk.
Gyakran van egyT :X →Rpr´obastatisztika,c∈R kritikus ´ert´ek,
´es ezekkel defini´aljukX1-et :X1 ={x∈ X |T(x)> c}
Pr´ oba jellemz˝ oi
Legyenψ(ϑ) =Pϑ(X1), azaz az elvet´es val´osz´ın˝us´ege.
Ha ϑ∈Θ0, akkorψ(ϑ) az els˝ofaj´u hiba val´osz´ın˝us´ege.
Ha ϑ∈Θ1, akkorψ(ϑ) annak a val´osz´ın˝us´ege, hogy helyesen vetj¨uk el H0-t. Ezt a pr´obaerej´enek h´ıvjukϑ-ban.
Statisztika Hipot´ezisvizsg´alat
Statisztikai pr´oba
Pr´ oba jellemz˝ oi
Legyenψ(ϑ) =Pϑ(X1), azaz az elvet´es val´osz´ın˝us´ege.
Ha ϑ∈Θ0, akkorψ(ϑ) az els˝ofaj´u hiba val´osz´ın˝us´ege.
Ha ϑ∈Θ1, akkorψ(ϑ) annak a val´osz´ın˝us´ege, hogy helyesen vetj¨uk el H0-t. Ezt a pr´obaerej´enek h´ıvjukϑ-ban.
A pr´obaterjedelme supϑ∈Θ0ψ(ϑ), ez azt jelenti, hogy legfeljebb ekkora val´osz´ın˝us´eggel hib´azhatunk, azzal hogyH0-t elvetj¨uk.
Sokszor megadj´ak, hogy mekkora terjedelm˝u pr´ob´at kell alkalmaznunk (α= 0.05 p´eld´aul).
χ
2-eloszl´ as
LegyenekX1, . . . , Xq f¨uggetlen, standard norm´alis eloszl´as´u val´osz´ın˝us´egi v´altoz´ok.
EkkorY =X12+· · ·+Xq2 eloszl´as´atq szabads´agfok´u χ2-eloszl´asnak h´ıvjuk (χ2q)
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
χ
2-eloszl´ as
Norm´ alis eloszl´ as mint´ ai
LegyenX1, . . . Xn nelem˝u minta azN(µ, σ2)eloszl´asb´ol. Ilyenkor az ´atlag X∼N(µ,σn2) eloszl´as´u,
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
Norm´ alis eloszl´ as mint´ ai
LegyenX1, . . . Xn nelem˝u minta azN(µ, σ2)eloszl´asb´ol. Ilyenkor az ´atlag X∼N(µ,σn2) eloszl´as´u,
a korrig´alt tapasztalati sz´or´asn´egyzet pedigs∗n2 ∼ nσ−21χ2n−1 eloszl´as´u,
Norm´ alis eloszl´ as mint´ ai
LegyenX1, . . . Xn nelem˝u minta azN(µ, σ2)eloszl´asb´ol. Ilyenkor az ´atlag X∼N(µ,σn2) eloszl´as´u,
a korrig´alt tapasztalati sz´or´asn´egyzet pedigs∗n2 ∼ nσ−21χ2n−1 eloszl´as´u,
´es ezek f¨uggetlenek (Fisher-Bartlett t´etel)
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
Egymint´ as u-pr´ oba (z-test)
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol σ2-et ismerj¨uk, µpedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
Egymint´ as u-pr´ oba (z-test)
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol σ2-et ismerj¨uk, µpedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
T(x) =√
nX−µ0 σ
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
Egymint´ as u-pr´ oba (z-test)
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol σ2-et ismerj¨uk, µpedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
T(x) =√
nX−µ0 σ Ezµ=µ0 esetben standard norm´alis eloszl´as´u.
Egymint´ as u-pr´ oba (z-test)
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol σ2-et ismerj¨uk, µpedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
T(x) =√
nX−µ0 σ Ezµ=µ0 esetben standard norm´alis eloszl´as´u.
Egyoldali ellenhipot´ezis eset´en legyen X1 ={x|T(x)>Φ−1(1−α)}
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
Egymint´ as u-pr´ oba (z-test)
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol σ2-et ismerj¨uk, µpedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
T(x) =√
nX−µ0 σ Ezµ=µ0 esetben standard norm´alis eloszl´as´u.
Egyoldali ellenhipot´ezis eset´en legyen X1 ={x|T(x)>Φ−1(1−α)} K´etoldali ellenhipot´ezis eset´en legyen X1 ={x| |T(x)|>Φ−1(1−α2)}
K´ etmint´ as u-pr´ oba (z-test)
LegyenX n1 elem˝u minta az N(µ1, σ12) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ22) eloszl´asb´ol, aholσ12, σ22-t ismerj¨uk,µ1, µ2 pedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
K´ etmint´ as u-pr´ oba (z-test)
LegyenX n1 elem˝u minta az N(µ1, σ12) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ22) eloszl´asb´ol, aholσ12, σ22-t ismerj¨uk,µ1, µ2 pedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
T(x, y) = X−Y qσ21
n1 +σn22
2
K´ etmint´ as u-pr´ oba (z-test)
LegyenX n1 elem˝u minta az N(µ1, σ12) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ22) eloszl´asb´ol, aholσ12, σ22-t ismerj¨uk,µ1, µ2 pedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
T(x, y) = X−Y qσ21
n1 +σn22
2
Ezµ1=µ2 esetben standard norm´alis eloszl´as´u.
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
K´ etmint´ as u-pr´ oba (z-test)
LegyenX n1 elem˝u minta az N(µ1, σ12) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ22) eloszl´asb´ol, aholσ12, σ22-t ismerj¨uk,µ1, µ2 pedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
T(x, y) = X−Y qσ21
n1 +σn22
2
Ezµ1=µ2 esetben standard norm´alis eloszl´as´u.
Egyoldali ellenhipot´ezis eset´en legyen X1 ={(x, y)|T(x, y)>Φ−1(1−α)}
K´ etmint´ as u-pr´ oba (z-test)
LegyenX n1 elem˝u minta az N(µ1, σ12) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ22) eloszl´asb´ol, aholσ12, σ22-t ismerj¨uk,µ1, µ2 pedig tetsz˝oleges val´os param´eter. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
T(x, y) = X−Y qσ21
n1 +σn22
2
Ezµ1=µ2 esetben standard norm´alis eloszl´as´u.
Egyoldali ellenhipot´ezis eset´en legyen X1 ={(x, y)|T(x, y)>Φ−1(1−α)} K´etoldali ellenhipot´ezis eset´en legyen X1 ={(x, y)| |T(x, y)|>Φ−1(1−α2)}
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
t-eloszl´ as
LegyenX∼N(0,1),Y ∼χ2q f¨uggetlenek.
EkkorZ = qX
Y n
eloszl´as´atq szabads´agfok´u t-eloszl´asnak h´ıvjuk (tq)
t-eloszl´ as
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
Egymint´ as t-pr´ oba
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol most seµ-t, se σ2-et nem ismerj¨uk. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
Egymint´ as t-pr´ oba
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol most seµ-t, se σ2-et nem ismerj¨uk. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
T(x) =√
nX−µ0 s∗n
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
Egymint´ as t-pr´ oba
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol most seµ-t, se σ2-et nem ismerj¨uk. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
T(x) =√
nX−µ0 s∗n
Err˝ol a Fisher-Bartlett t´etel alapj´an bel´athat´o, hogy µ=µ0 esetbentn−1 eloszl´as´u.
Egymint´ as t-pr´ oba
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol most seµ-t, se σ2-et nem ismerj¨uk. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
T(x) =√
nX−µ0 s∗n
Err˝ol a Fisher-Bartlett t´etel alapj´an bel´athat´o, hogy µ=µ0 esetbentn−1 eloszl´as´u.
Egyoldali ellenhipot´ezis eset´en legyen X1 ={x|T(x)> Ft−n−11 (1−α)}
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
Egymint´ as t-pr´ oba
LegyenX1, . . . Xn n elem˝u minta az N(µ, σ2) eloszl´asb´ol, ahol most seµ-t, se σ2-et nem ismerj¨uk. Hipot´eziseink :
H0:µ≤µ0,H1:µ > µ0 (egyoldali ellenhipot´ezis).
H0:µ=µ0,H1:µ6=µ0 (k´etoldali ellenhipot´ezis).
T(x) =√
nX−µ0 s∗n
Err˝ol a Fisher-Bartlett t´etel alapj´an bel´athat´o, hogy µ=µ0 esetbentn−1 eloszl´as´u.
Egyoldali ellenhipot´ezis eset´en legyen X1 ={x|T(x)> Ft−n−11 (1−α)} K´etoldali ellenhipot´ezis eset´en legyen X1 ={x| |T(x)|> Ft−n−11 (1−α2)}
K´ etmint´ as t-pr´ oba
LegyenX n1 elem˝u minta az N(µ1, σ2) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ2) eloszl´asb´ol. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
K´ etmint´ as t-pr´ oba
LegyenX n1 elem˝u minta az N(µ1, σ2) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ2) eloszl´asb´ol. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
T(x, y) =
r n1n2 n1+n2
X−Y q(n1−1)s∗2X+(n2−1)s∗2Y
n1+n2−2
K´ etmint´ as t-pr´ oba
LegyenX n1 elem˝u minta az N(µ1, σ2) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ2) eloszl´asb´ol. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
T(x, y) =
r n1n2 n1+n2
X−Y q(n1−1)s∗2X+(n2−1)s∗2Y
n1+n2−2
Err˝ol hosszadalmasan, de bel´athat´o, hogy µ1 =µ2 esetben tn1+n2−2 eloszl´as´u.
Statisztika Hipot´ezisvizsg´alat
Norm´alis eloszl´as param´etereire vonatkoz´o pr´ob´ak
K´ etmint´ as t-pr´ oba
LegyenX n1 elem˝u minta az N(µ1, σ2) eloszl´asb´ol,Y n2 elem˝u minta azN(µ2, σ2) eloszl´asb´ol. Hipot´eziseink :
H0:µ1 ≤µ2,H1:µ1> µ2 (egyoldali ellenhipot´ezis).
H0:µ1 =µ2,H1:µ16=µ2 (k´etoldali ellenhipot´ezis).
T(x, y) =
r n1n2 n1+n2
X−Y q(n1−1)s∗2X+(n2−1)s∗2Y
n1+n2−2
Err˝ol hosszadalmasan, de bel´athat´o, hogy µ1 =µ2 esetben tn1+n2−2 eloszl´as´u.
Egyoldali ellenhipot´ezis eset´en legyen X1 ={(x, y)|T(x, y)> Ft−1
n1+n2−2(1−α)}