D¨ ont´ esi szab´ alyok

Oszt´ alyoz´ as

Fodor G´abor

2010. m´arcius 17.

1 Bevezet´es

2 D¨ont´esi szab´alyok

3 D¨ont´esi f´ak

4 Bayes-h´al´ok

5 Line´aris szepar´al´as

6 Support Vector Machine

7 Meta algoritmusok

8 Forr´asok

Bevezet´ es

Fel¨ugyelt tanul´as (Supervised learning)

Magyar´az´o attrib´utumok, magyar´azand´o attrib´utum Tan´ıt´o pontok, teszthalmaz

Regresszi´o ´es Oszt´alyoz´as

El˝ofeldolgoz´as (Hi´anyos adatok, adattiszt´ıt´as, adattranszform´aci´o, relev´ans adatok)

Hiba m´ert´ekek (Accuracy, Precision, Recall, ROC, AUC, Cost)

1 Bevezet´es

2 D¨ont´esi szab´alyok

3 D¨ont´esi f´ak

4 Bayes-h´al´ok

5 Line´aris szepar´al´as

6 Support Vector Machine

7 Meta algoritmusok

8 Forr´asok

Defin´ıci´ ok

Def. (D¨ont´esi szab´aly)

Az A attrib´utumhalmaz felett ´ertelmezett d¨ont´esi szab´aly alatt olyan R :φ(A)→Y =y logikai implik´aci´ot ´ert¨unk, amelyek felt´etelr´esz´eben az attrib´utumokra vonatkoz´o felt´etelek logikai kapcsolatai ´allnak, a

k¨ovetkezm´enyr´eszben pedig az oszt´alyattrib´utumra vonatkoz´o ´ıt´elet.

Def. (Illeszked´es)

Az R :φ(A)→Y =y d¨ont´esi szab´alyra illeszkedik a t objektum, ha a felt´etelr´esz attrib´utumv´altoz´oiba t megfelel˝o ´ert´ekeit helyettes´ıtve igaz

´

ert´eket kapunk.

Def. (Fed´es)

Az R :φ(A)→Y =y szab´aly lefedi az T objektumhalmazt, ha minden objektum illeszkedik a szab´alyra. Adott τ tan´ıt´o halmaz eset´en az R ´altal fedett tan´ıt´opontok halmaz´at coverτ(R)-rel jel¨olj¨uk.

D¨ ont´ esi szab´ alyok

szab´alyhalmaz ´es szab´alysorozat egy´ertelm˝us´eg

teljess´eg kifejez˝oer˝o d¨ont´esi t´abl´azat

1R algoritmus

Pofonegyszer˝u oszt´alyoz´o algoritmus, kiv´alaszt egy attrib´utumot, majd annyi szab´alyt ´all´ıt el˝o, ah´any k¨ul¨onb¨oz˝o ´ert´eket vesz fel az attrib´utumunk a tan´ıt´o adathalmazban.

Az A=a→Y =y_i szab´aly k¨ovetkezm´eny´eben szerepl˝o y_i oszt´aly

´

ertelemszer˝uen a leggyakoribb lesz azAattrib´utum´abana-t felvev˝o tan´ıt´opontok k¨oz¨ul.

Az 1R egy´ertelm˝u szab´alyhalmazt ´all´ıt el˝o.

Val´os attrib´utumok probl´em´aja

,,Egyszer˝us´ege ellen´ere el´eg j´ol muzsik´al a gyakorlatban.”

0R oszt´alyoz´o

A Prism m´ odszer

Alapfelt´etel: nincsenek olyan tan´ıt´opontok, melyek fontos magyar´az´o attrib´utumai megegyeznek, de oszt´alyattrib´utumukban k¨ul¨onb¨oznek. (!) separate and conquer

Csak 100%-os pontoss´ag´u szab´alyokat ´all´ıt el˝o.

1 Bevezet´es

2 D¨ont´esi szab´alyok

3 D¨ont´esi f´ak

4 Bayes-h´al´ok

5 Line´aris szepar´al´as

6 Support Vector Machine

7 Meta algoritmusok

8 Forr´asok

Altal´ ´ aban

K¨onnyen ´ertelmezhet˝o, egy´ertelm˝u szab´alyhalmazok Fa´ep´ıt´es rekurz´ıv v´ag´asokkal(k´erd´esekkel)

Le´all´as:

Attrib´utumhi´any M´elys´egi korl´at Nincs j´o v´ag´as F˝obb algoritmuscsal´adok:

Interactive Dichotomatizer 3 (ID3)

Classification and Regression Trees (CART,C&RT) Chi-squared Automatic Interaction Detection (CHAID)

Egy kis inform´ aci´ oelm´ elet

X,Y diszkr´et v.v. k,l lehets´eges ´ert´ekkel EkkorY entr´opi´aja:

H(Y) =−

l

X

i=1

P(Y =i) logP(Y =i)

Tegy¨uk fel X megfigyelt v´altoz´o ´ert´eke x_j, ekkorY-nal kapcsolatos bizonytalans´agunk:

H(Y|X =x_j) =−

l

X

i=1

P(Y =i|X =x_j) logP(Y =i|X =x_j) X ismeret´eben a v´arhat´o bizonytalans´agunk:

H(Y|X) =

k

X

j=1

P(X =x_j)H(Y|X =x_j) K¨olcs¨on¨os inform´aci´o I(Y,X) =H(Y)−H(Y|X)

ID3

Az egyik leg˝osibb ´es legismertebb oszt´alyoz´o algoritmus

Y oszt´alyoz´asakor azt azX attrib´utumot v´alasztja, melyre I(X,Y) maxim´alis

H´atr´any: tereb´elyes fa

Jav´ıt´asi ¨otlet nyeres´egar´annyal

gainratio(X) =I(X,Y)/H(X) Egy attrib´utum szerint legfeljebb egyszer v´agunk.

Bin´aris fa Felt´etelek a csom´opontokban: Sorrend, kateg´oria, intervallum

V´ ag´ asi f¨ uggv´ enyek

X diszkr´et v.v. k lehets´eges ´ert´ekkel,p_i :=P(X =x_i),p= (p1,p2, . . . ,p_k) Egy Φ : [0,1]^k →R v´ag´asi f¨uggv´enyre vonatkoz´o Taylor-Silverman krit´eriumok:

1 Φ(p)≥0

2 Φ az elfajult eloszl´asra minim´alis

3 Φ az egyenletes eloszl´asra maxim´alis

4 Φ(p) a pkomponenseire n´ezve szimmetrikus.

5 Φ differenci´alhat´o

CART

Entr´opia helyett Gini-index:

Gini(p) = 1−

k

X

i=1

p_i² Ferd´en is tudnak v´agni (line´aris kombin´aci´o) Mindig bin´aris d¨ont´es

Egy kis statisztika

A₁, . . . ,A_r teljes esem´enyrendszer

H₀ :P(A_i) =p_i (i = 1, . . . ,r),

n f¨uggetlen megfigyel´es sor´an jel¨oljeνi a megfelel˝o Ai gyakoris´ag´at!

EkkorH₀ fenn´all´asakor (ν₁, . . . , ν_r) polinomi´alis eloszl´as´u.

n₁+· · ·+n_r =n eset´en:

PH0(ν₁ =n₁, . . . , ν_r =n_r) = n!

n₁!. . .n_r!p₁ⁿ¹. . .pⁿ_r^r T.

Ha (ν₁, ν₂, . . . , ν_r) polinomi´alis eloszl´as´u n ´es p₁, . . . ,p_r(p_i >0) param´eterekkel akkor n→ ∞eset´en

r

X

i=1

(ν_i−np_i)²

np_i →χ²(r−1)

CHAID

H´arom l´ep´es

Minden magyar´az´o v´altoz´ora a statisztikailag legink´abb f¨uggetlen kateg´ori´ak p´aronk´entiegyes´ıt´ese

A legink´abb f¨ugg˝o attrib´utum kateg´ori´ai szerintifeloszt´as A rekurzi´o folytat´asa valamely meg´all´ıt´asi krit´eriumig F¨uggetlens´egvizsg´alat χ² pr´ob´aval diszkr´et esetben

X,Y diszkr´et,A_i ={X =x_i},B_j ={Y =y_j},p_i =P(A_i),q_j =P(B_j) ν_ij =|{k :X_k =x_i,Y_k =y_j}|

H0 :X ´esY f¨uggetlenek: P(Ai ∩Bj) =P(Ai)P(Bj) =piqj

χ²=X

i

X

j

(ν_ij −np_iq_j)² npiqj

1 Bevezet´es

2 D¨ont´esi szab´alyok

3 D¨ont´esi f´ak

4 Bayes-h´al´ok

5 Line´aris szepar´al´as

6 Support Vector Machine

7 Meta algoritmusok

8 Forr´asok

Bayes-h´ al´ ok bevezet˝ o

G (DAG a diszkr´et attrib´utumokon mint cs´ucsokon) a v´altoz´ok k¨oz¨otti f¨ugg˝os´egi viszonyokat k´odolja.

Lok´alis Markov-felt´etel: B´armely attrib´utum f¨uggetlen nem lesz´armazottait´ol, ha ismert sz¨uleinek ´ert´eke.

T. (L´ancszab´aly Bayes-h´al´okra) P(X) =

n

Y

i=1

P(X_i|Par_i) K¨ovetkeztet´es a h´al´oban

Def. (Markov-takar´o)

Egy v´altoz´o Markov-takar´oja a sz¨uleinek, gyermekeinek ´es a gyermekei sz¨uleinek halmaza.

A tanul´ as neh´ ezs´ egei

Param´etertanul´as, strukt´uratanul´as Melyek a j´o strukt´ur´ak?

Krit´eriumf¨uggv´enyek:

BIC¹(B,D) =

N

X

i=1

log(P(d_i|B))−logN 2 |Θ|

AIC²(B,D) =

N

X

i=1

log(P(d_i|B))− |Θ|

Az ´ori´asi keres´esi t´er sz˝uk´ıt´ese Topol´ogikus sorrend fel´all´ıt´asa

Sz¨ul˝ohalmazok m´eret´enek korl´atoz´asa

1Bayesian Information Criterion

2Akaike Information Criterion

Moh´ o keres´ esek

Tetsz˝oleges kiindul´asi gr´af (¨ures, szak´ert˝oi, random)

´ elt¨orl´es

´

elhozz´aad´as

´

elford´ıt´as WEKA algoritmusok

K2

HillClimbing

RepeatedHillClimbing Simulated Annealing

Naive Bayes Classifier (NB)

Durva f¨uggetlens´egi felt´etel, r¨ogz´ıtett strukt´ura C oszt´alyattrib´utum

A1,A2, . . . ,An magyar´az´o v´altoz´ok Bayes-t´etel miatt

P(C|A₁,A2, . . . ,An) = P(C)P(A1,A2, . . . ,An|C) P(A₁,A₂, . . . ,A_n) F¨uggetlens´egi felt´etel¨unk alapj´an

P(A₁, . . . ,A_n|C) =

n

Y

i=1

P(A_i|C) ML d¨ont´es

classify(a₁, . . . ,a_n) = arg max

c

P(C =c)

n

Y

i=1

P(A_i =a_i|C =c

Tree Augmented Naive Bayes Model(TAN)

Bonyolultabb, de kezelhet˝o strukt´ura C ´arva

A₁,A₂, . . . ,A_n mindC gyermekei A1,A2, . . . ,An pontokon ir´any´ıtott fa A tanul´as m˝uk¨odik polinomid˝oben!

1 Meghat´arozzuk az adatok seg´ıts´eg´evel ˆI(Ai,Aj|C)-t minden (i,j) p´arra, ezekkel s´ulyozzuk egyn-pont´u teljes gr´af ´eleit.

2 Ebben a gr´afban keres¨unk egy maxim´alis fesz´ıt˝of´at, erre ismertek O(n²logn) idej˝u algoritmusok.

3 Kiv´alasztunk egy gy¨okeret ´es ennek megfelel˝oen ir´any´ıtjuk a fesz´ıt˝ofa

´ eleit.

1 Bevezet´es

2 D¨ont´esi szab´alyok

3 D¨ont´esi f´ak

4 Bayes-h´al´ok

5 Line´aris szepar´al´as

6 Support Vector Machine

7 Meta algoritmusok

8 Forr´asok

Line´ aris szepar´ al´ as

K´et oszt´aly line´arisan szepar´alhat´o, ha egy hipers´ık seg´ıts´eg´evel el tudjuk k¨ul¨on´ıteni a k´et oszt´aly pontjait.

w₁a₁+w₂a₂+· · ·+w_na_n= 0

Perceptron

A neur´alis h´al´ok ˝os´enek tekinthet˝o

Minden attrib´utum val´os Ha a line´aris kombin´aci´o pozit´ıv els˝o oszt´aly

Feladatunk megfelel˝o (nem optim´alis!) w s´ulyok keres´ese

Winnow m´odszer csupa bin´aris attrib´utumra

Rocchio

Klasszikus IR algoritmus Minden attrib´utum val´os Minden oszt´alyhoz protot´ıpusvektor (D_c minta´atlag)

Kicsiny sz´am´ıt´asig´eny, gyors tanul´as (online k¨ornyezetben is)

c =βAvg_dj∈Cdj −γAvg_d

j∈C/ dj

1 Bevezet´es

2 D¨ont´esi szab´alyok

3 D¨ont´esi f´ak

4 Bayes-h´al´ok

5 Line´aris szepar´al´as

6 Support Vector Machine

7 Meta algoritmusok

8 Forr´asok

Hard-Margin SVM

Bin´aris oszt´alyoz´as {−1,+1}

Tfh. line´arisan szepar´alhat´ok az oszt´alyok!

A szepar´al´o s´ık egyenlete: D(x) =w^Tx+b = 0 Kis ´atalak´ıt´asokkal:

y_k(w^Tx_k +b)>1 x pont t´avols´agaD(x)-t˝ol: |D(x)|/||w||

y_k(D(x_k))

||w|| ≥δ

C´elunk ¹₂||w||²-t minimaliz´alni,y_k(w^Tx_k +b)≥1 korl´atok mellett.

(Kvadratikus optimaliz´al´asi feladat, KKT, Lagrange multiplik´atorok)

Soft-Margin SVM

A felt´etelek enyh´ıtese ξ_i nemnegat´ıv seg´edv´altoz´okkal:

y_i(w^Tx_i +b)≥1−ξ_i A seg´edv´altoz´ok miatt mindig l´etezik megengedett megold´as.

1

2||w||²+CX

i

ξ_i^p→min y_k(w^Tx_k +b)≥1 i = 1,2, . . .

Nemlinearit´ as kezel´ ese magf¨ uggv´ enyekkel

Nemline´aris transzform´aci´o (magasabb dimenzi´oba)

A transzform´alt t´erben az optim´alis szepar´al´o s´ık meghat´aroz´asa D(x) =w^Tg(x) +b

H(x,x⁰) =g^T(x)g(x) Line´aris magf¨uggv´enyek H(x,x⁰) =x^Tx⁰ Polinomi´alis magf¨uggv´enyek H(x,x⁰) = (x^Tx⁰+ 1) RBF magf¨uggv´enyek H(x,x⁰) = exp(−γ||x−x⁰||)

SVM vs. NN

El˝ony¨ok

1 Maxim´alt ´altal´anos´ıt´ok´epess´eg

2 Nincs lok´alis optimum

3 Hat´ekonys´ag kiugr´o (outlier) ´ert´ekek eset´en is H´atr´anyok

1 Bin´aris d¨ont´es

2 Lass´u tanul´as

3 Param´eterek kezel´ese

Mindk´et m´odszer univerz´alis f¨uggv´enyapproxim´ator

overfitting

1 Bevezet´es

2 D¨ont´esi szab´alyok

3 D¨ont´esi f´ak

4 Bayes-h´al´ok

5 Line´aris szepar´al´as

6 Support Vector Machine

7 Meta algoritmusok

8 Forr´asok

RandomForest

M magyar´az´o v´altoz´o,N adatsor,

Minden egyes d¨ont´esi f´anak v´alasztunk (visszatev´eses mintav´etelez´essel-bootstrap) egyN m´eret˝u mint´at.

Minden csom´opontban random m(<<M) attrib´utum k¨oz¨ul kiv´alasztjuk azt, amelyik szerint v´agunk.

V´eg¨ul az erd˝ot ¨osszeszavaztatjuk t¨obbs´egi szavaz´assal.

El˝ony¨ok

Sok attrib´utummal is elb´ır Pontos oszt´alyoz´as

Gyors tanul´as

T´ultanul´as elker¨ul´ese H´atr´anyok

Bagging, Stacking

Bootstrap aggregating

Szint´en Leo Breiman 1994-b˝ol, nemcsak d¨ont´esi f´at, tetsz˝oleges tanul´o algoritmust alkalmazhatunk.

T´ultanul´as elker¨ul´ese

Stabil modelleken nem seg´ıt.

Stacking

n bels˝o modell kimenet´et adjuk egy ¨osszeszavaztat´o modellnek

Boosting

AdaBoost Freund ´es Schapire 1995

C´el: egyszer˝u modellek adapt´ıv alkalmaz´as´aval pontos eredm´eny

T k¨orben tan´ıtunk egy-egyh_t modellt, a D_t(i) eloszl´assal mintav´etelezett tan´ıt´ohalmazon.

A modell hib´aja:

t= X

i:ht(xi)6=yi

Dt(i) α_t := 1

2ln(1−_t t

) Friss´ıt´es:

Di(t) = D_i(t) exp(−α_th_t(x_i)y_i) Zt

V´egs˝o d¨ont´es¨unk:

T

Adatb´ any´ aszati eszk¨ oz¨ ok

1 Bevezet´es

2 D¨ont´esi szab´alyok

3 D¨ont´esi f´ak

4 Bayes-h´al´ok

5 Line´aris szepar´al´as

6 Support Vector Machine

7 Meta algoritmusok

8 Forr´asok

Forr´ asok

Bodon Ferenc,

Adatb´any´aszati algoritmusok, (2010)

Nir Friedman, Dan Geiger, Moises Goldszmidt, Bayesian Network Classifiers,

(1997)

R. R. Bouckaert, E. Frank, M. Hall, R. Kirkby, P.

Reutemann, A. Seewald, D. Scuse, WEKA Manual for Version 3-7-1,

(2010)

Shiego Abe,

Support Vector Machines for Pattern Classification, (2005)