Mesters´eges neur´alis h´al´ozatok

ahol δ(yⁱ=`) = 1, ha azi-edik tan´ıt´opont oszt´alya `, k¨ul¨onben 0.

A logisztikus regresszi´o ´es a Bayes oszt´alyoz´o kapcsolat´ar´ol a 6.8 r´eszben sz´olunk.

6.5. Mesters´ eges neur´ alis h´ al´ ozatok

A logisztikus regresszi´o modellj´et egyr´eteg˝u mesters´eges neur´alis h´al´ozatnak is nevezik, sejt-hetj¨uk, hogy ez az alapja a

”komolyabb” mesters´eges neur´alis h´al´ozat´oknak.

Egy darab logisztikus regresszi´o elemmel nem sok mindent tudunk kezdeni. Mivel line´aris oszt´alyoz´o, ez´ert meg tudja tanulni az ´es, avagy tov´abb´a a nem logikai f¨uggv´enyeket, de nem tudja megtanulni az xor f¨uggv´enyt. H´arom logisztikus regresszi´o felhaszn´al´as´aval azonban az xor-t is ki tudjuk fejezni. Id´ezz¨uk fel, hogy az´es f¨uggv´enyt ax1+x2−1.5, avagy-ot a x1+x2−

−0.5 egyenes, anem-etx₂−0.5 egyenesek szepar´alj´ak (l´asd a 6.6 ´abra). Azxor f¨uggv´eny pedig fel´ırhat´o, mint (x1∨x2)∧(x1∧x2). A 6.10 ´abra ezt a konstrukci´ot mutatja. A fels˝o szignum

sigm

sigm sigm x0

x1 x2 x0

1 1 -1.5

1 -1

1 -1 -0.5 1.5

6.10. ´abra. xor f¨uggv´eny logisztikus regresszi´ok ¨osszekapcsol´as´aval

f¨uggv´enyhez tartoz´o logisztikus regresszi´o az´es-t, a bal als´o avagy-ot a jobb als´o pedig a nem

´es-t adja vissza.

Az ´ep´ıt˝oelemeket ismerve tetsz˝oleges logikai formul´at kifejezhet¨unk logisztikus regresszi´ok ¨osszekapcsol´as´aval, ez´ert a logisztikus regresszi´ok kapcsolata univerz´alis f¨uggv´enyapproxim´atornak tekinthet˝o. Ebb˝ol a t´enyb˝ol sz´armazik a neur´alis h´al´ozatok elm´elete.

A mesters´eges neuronh´al´ozatok – n´emileg az agym˝uk¨od´est ut´anz´o biol´ogiai anal´ogi´ara is t´amaszkodva – a logisztikus regresszi´ok kapcsolata. A legn´epszer˝ubb modell a t¨obbr´eteg˝u el˝orecsatolt neuronh´al´ozat (l´asd 6.11. ´abra). Az els˝o r´eteg csom´opontjaiban (neuronok) az input (magyar´az´o v´altoz´ok, 1-3. neuronok) helyezkedik el, az outputot (magyar´azott v´altoz´okat) a leg-utols´o r´eteg kimenete (6. neuron´e) adja. A k¨ozbens˝o r´etegeket rejtett (hidden) r´etegeknek (4-5.

neuronok) nevezz¨uk. Minden r´eteg minden neuronj´anak kimenete a k¨ovetkez˝o r´eteg ¨osszes ne-uronj´anak bemenet´evel kapcsolatban ´all. A kapcsolat szoross´ag´at w_ij s´ulyok jellemzik. (A 6.11.

´abr´aban 4-6. neuronok hely´ebe egy 6.9. ´abra szerinti logisztikus regresszi´ot kell k´epzelj¨unk.)

w₃₅

w46

w56

1

2

3

5

6 4

w₁₄

x

x x₁

2

3

6.11. ´abra. T¨obbr´eteg˝u el˝orecsatolt neur´alis h´al´ozat

Mind a logisztikus regresszi´o, mind a neur´alis h´al´ozatok param´etereikben nem line´aris f¨uggv´eny-approxim´atornak tekinthet˝ok. A tapasztalatok ´es az elm´eleti eredm´enyek (l´asd.: [46]) szerint is ugyanannyi param´etert (s´ulyt) haszn´alva nemline´arisan param´eterezett f¨uggv´enyekkel gyakran jobb k¨ozel´ıt´est ´erhet¨unk el, mint line´arisan param´eterezett t´arsaikkal.

Az alkalmas s´ulyokat nemline´aris optimaliz´aci´os technik´aval, gradiens m´odszerrel keres-hetj¨uk meg szinte ugyan´ugy, mint a logisztikus regresszi´on´al tett¨uk. A gradiens elj´ar´asok alap-elve, hogy egy f¨uggv´eny maximum / minimum hely´et ´ugy keresik meg, hogy egy kezd˝opontb´ol kiindulva a gradiens (deriv´alt) ir´any´aban / a gradienssel ellent´etes ir´anyban mozdulunk el, majd az elj´ar´ast ism´etlik.

Az el˝orecsatolt topol´ogi´anak k¨osz¨onhet˝oen az eg´esz neuronh´al´o hibaf¨uggv´eny´enek ws´ulyok szerinti gradiens´et k¨onnyen kisz´am´ıthatjuk. A s´ulyok megtal´al´asa a tan´ıt´o p´eld´ak alapj´an az

´

un. backpropagation (hiba visszaterjed´es) elj´ar´as szerint zajlik:

I. Az inputokb´ol el˝orehaladva kisz´am´ıtjuk az outputok eredm´eny´et.

II. Az utols´o output r´etegb˝ol r´etegr˝ol r´etegre visszafel´e haladva a megfelel˝o gradiens szab´aly szerint m´odos´ıtjuk wij ´ert´ekeket.

Mivel a neuronh´al´o ´altal reprezent´alt f¨uggv´enynek lehetnek lok´alis maximumai ez´ert a m´odszer nem biztos, hogy a glob´alis optimumot adja. A backpropagation elj´ar´ast ez´ert t¨obbsz¨or szok´as futtatni k¨ul¨onb¨oz˝o kezdeti s´ulyokkal.

A neuronh´al´ok h´atr´anyak´ent eml´ıthet˝o, hogy a s´ulyok rendszere k¨ozvetlen¨ul nem

´ertelmezhet˝o emberek sz´am´ara. Nem tudjuk egyszer˝uen megindokolni, hogy mi alapj´an hoz-ta meg a neuronh´al´o a d¨ont´est. Egy h´al´ozat tulajdonk´eppen egy fekete doboznak tekinthet˝o a felhaszn´al´o szemsz¨og´eb˝ol. Sok ter¨uleten nem elfogadhat´o, ha egy m´odszer nem ad magyar´azatot, ez´ert a neuronh´al´ok alkalmaz´asi k¨ore er˝osen korl´atozott. Ugyanakkor l´eteznek olyan elj´ar´asok, amelyek a neuronh´al´ok s´ulyaib´ol emberek sz´am´ara ´erthet˝o, a d¨ont´eseket indokl´o szab´alyokat nyernek ki [55].

Egy v´arosi legenda szerint a 80-as ´evekben az amerikai hadsereg szolg´alatba akarta ´all´ıtani a mesters´eges intelligenci´at ´es a sz´am´ıt´astudom´anyt. C´eljuk volt minden tankra egy kamer´at tenni, a kamera k´ep´et egy sz´am´ıt´og´epnek tov´abb´ıtani, amely automatikusan felismeri, ha el-lens´eges tank b´ujik meg a k¨ozeli erd˝oben. A kutat´ok neur´alis h´al´ozat alap´u megk¨ozel´ıt´es mellett d¨ont¨ottek. A tan´ıt´ashoz el˝o´all´ıtottak 100 darab olyan k´epet amelyen a f´ak m¨og¨ott tank b´ujt meg ´es 100 olyat, amelyen tank nem volt l´athat´o.

N´eh´any iter´aci´o ut´an a h´al´ozat t¨ok´eletesen oszt´alyozta a k´epeket. A kutat´ok ´es a Pentagon munkat´arsai nagyon meg voltak el´egedve az eredm´enyekkel, ugyanakkor m´eg maguk sem voltak biztosak abban, hogy a neur´alis h´al´ozat val´oban a tank koncepci´ot tanulta-e meg. F¨uggetlen szak´ert˝okt˝ol k´ert verifik´aci´o sor´an azonban a h´al´o rosszul szerepelt. A pontoss´aga nem haladta meg egy teljesen v´eletlenszer˝uen tippel˝o oszt´alyoz´o pontoss´ag´at.

Valaki azt´an r´aj¨ott a rossz szerepl´es ok´ara. A tan´ıt´o k´epeken az ¨osszes tankos k´epen borult volt az id˝o, a tank n´elk¨uli k´epeken pedig s¨ut¨ott a nap. Ezt tanulta meg a h´al´o.

Nem lehet tudni, hogy ebb˝ol a v´arosi legend´ab´ol mennyi igaz, az azonban t´eny, hogy a neur´alis h´al´o nem ad magyar´azatot az oszt´alyoz´as ok´ara. Ez komoly h´atr´any p´eld´aul a p´enz¨ugyi vil´agban. A befektet˝ok vonakodnak fekete doboz rendszerekre b´ızni a p´enz¨uket, akkor is, ha ezek nagyon j´o eredm´enyeket adnak a tesztek sor´an.

Weka 3.5.7 A backpropagation tan´ıt´o m´odszert haszn´al´o neur´alis h´al´ozatot a weka.classifiers.functions.MultilayerPerceptron oszt´aly implement´alja. A h´al´ozatot fel´ep´ıthetj¨uk k´ezzel vagy automati-kusan. A neuronokban haszn´alt nemlinearit´as a szigmoid f¨uggv´eny.

Az oszt´alynak sz´amos param´etere van. A GUI param´eterrel be-kapcsolhatunk egy grafikus interf´eszt, melyen kereszt¨ul l´athatjuk, illet-ve m´odos´ıthatjuk a neur´alis h´al´ozatot. Az autoBuild param´eter en-ged´elyez´es´evel a h´al´ozat automatikusan b˝ov¨ul tov´abbi rejtett r´etegekkel.

A hiddenLayers param´eter adja meg a neur´alis h´al´ozat rejtett r´etegeinek a sz´am´at. Az attrib´utumok el˝ofeldolgoz´as´ara ad lehet˝os´eget a nominalToBinaryFilterparam´eter. A kateg´oria t´ıpus´u attrib´utumokat bin´aris t´ıpus´uv´a alak´ıtja (l´asd 3.1 r´esz). Az attrib´utumok norma-liz´al´as´at a normalizeAttributes param´eterrel tudjuk enged´elyezni.

A normalizeNumericClass param´eter az oszt´alyattrib´utumot norma-liz´alhatjuk, amennyiben az sz´am t´ıpus´u. A validationSetSize pa-ram´eter a teszthalmaz sz´azal´ekos m´eret´et adja meg. A tesztel´es le´all´as´at szab´alyozza avalidationThreshold. Ez az ´ert´ek adja meg, hogy egym´as ut´an h´anyszor romolhat a tesztel´esi hiba, miel˝ott le´allna a tan´ıt´as.