3. Lexikalizációs eljárások 51
3.3. A lexikalizáció sarokpontjai
Az A. függelékben látható táblázatokból kiolvasható, hogy az enyhe lexikalizáció minden vizsgált konfigurációban túlszárnyalta a többi lexikalizációs szintet az összes reprezentációban, valamint a legjobb eredményt adó címkézőprogram a hivatalos CRFsuite volt. A további kutatást így ezzel a lexikalizációs eljárással és címkéző programmal folytattam az összes reprezentáción. A rendszerben így három meg nem vizsgált paraméter maradt: a küszöb, a lexikalizálandó szavak csoportjának típusaira történt megszorítás, valamint a lexikalizációhoz használt szavak forrása. A következő fejezetekben az ezekkel kapcsolatos eredményeimet ismertetem.
1Ez az eljárás nagyon hasonlít a T’n’T szófaji egyértelműsítőben használt, ismeretlen szavak kezelését biztosító modell működésére, ahol az algoritmus csak a bizonyos küszöbnél ritkább szavakból épít végződésfát a tanítóanyagban nem szereplő szavak kezelésére.
2A gyakori szavak esetén pedig a sok közös jellemző miatt érdemes az osztályozást finomí-tani, hogy elváljanak egymástól az elemek, és ezzel segítsék az átmeneti modellt.
3.3.1. A küszöb
A lexikalizációhoz használt küszöbértéket az eredeti cikkben (Molina és Pla 2002) az ott rögzített körülményekhez mérten 50-ben húzták meg. Azok a tokenek kerül-tek a lexikalizálandó szavak halmazába, amelyek a paraméter állításához használt halmazban 50-nél gyakoribbak voltak. A 2.4.4. és a 3.2. fejezetekben tárgyalt vizsgálatok során (melyek eredménye az A. függelékben látható) ezt a paramé-tert alkalmaztam én is, hogy reprodukáljam az eredményeket, és megvizsgáljam az enyhe lexikalizáció teljesítményét. Azonban a megváltoztatott eljárás szüksé-gessé tette, hogy felülvizsgáljam a küszöbszám értékének helyességét. Ezért a már meglévő kísérletező környezetemet úgy alakítottam át, hogy különböző küszöbér-tékekkel méréseket tudjak végezni, hogy a teljesítményt a küszöb értékének függ-vényében egy grafikonon ábrázolva össze tudjam hasonlítani. A minimális 10-ként választott küszöbtől indulva, mely a sok osztály miatt a még éppen megengedhető mértékben lassította le a számítást, egyesével növelve a küszöböt egészen addig haladtam, amíg el nem jutottam lexikalizálatlan formáig (lásd a 3.2. ábra).
94 95 96
0 50 100 150
Végső eredmény (F-mérték, %)
Lexikalizációs küszöb (szógyakoriság) DD: a lexikalizáció szavai: PBK, tesztkorpusz: PBK TD: a lexikalizáció szavai: VTK, tesztkorpusz: PBK TT: a lexikalizáció szavai: VTK, tesztkorpusz: VTK
3.2. ábra. Lexikalizációs küszöbök az IOBES reprezentáción (a többi reprezen-táció hasonló, lásd a B. függelék) az ismertetett forgatókönyvek szerint. (PBK:
paraméter beállításhoz használt korpusz, VTK: valódi teszt korpusz.)
A 3.2. ábrán látható eredményeim nagyon látványosan igazolták a lexikali-záció pozitív hatását, mivel egészen alacsony küszöbértékig monoton egyenletes teljesítménynövekedés figyelhető meg. A DD forgatókönyv esetén – mely a hagyo-mányos paraméteroptimalizálásis lépésnek felel meg – a 13-ra beállított küszöb-értéknél a tanulóhalmazbeli tokenek 36,84%-a lexikalizálódik, így gyakorilatilag minden harmadik elem és a bigrammok 58%-a tartalmaz lexikalizált elemet. Te-hát nem beszélhetünk arról, hogy csak a leggyakoribb funkciószavak lennének lexikalizálva. Viszont túl alacsony küszöbértéknél egy jól megfigyelhető vissza-esés tapasztalható, mivel ebben az esetben bekerülnek olyan nagyon ritka szavak a rendszerbe, amelyekből a program nem tud kellően jó modellt építeni, és zava-rólag hatnak. Felmerülhet továbbá az adathiány problémája, mivel ahogy a való életben is a paraméterállításhoz használt halmaz a tanítókorpusz szerves része (esetemben minden 10. mondata), a teszteléshez használt korpusz máshonnan származik és más tulajdonságai vannak. Mielőtt azonban a lexikalizáció forrását vizsgálnám, meg kell határozni, hogy a referenciaadat részét képező csoportok típusai szerinti szűrés mennyire fontos paraméter, hiszen ez az információ a teszt-halmazból nem érhető el.
3.3.2. A lexikalizálandó szavak csoportjának típusai
Az előző fejezetekből látható a lexikalizáció forrásának hatása a címkézési folya-matra. Viszont mivel a teszthalmazból vett szavak esetében nem számíthatunk az őket tartalmazó csoportokra, meg kell vizsgálni a csoportok külön hatását is.
Ezt a mérést csak az IOBES reprezentáción végeztem, mivel az összes eddigi mérés során kiemelkedően teljesített. Csak azt vizsgáltam, hogy a csoportok sze-rinti szűrés be- és kikapcsolása miként hat a teljesítményre. Érdekes, a dolgozat témáján túlmutató kérdés, hogy a lehetséges csoportok kombinációiból melyik szerinti szűrés adhatná az optimális eredményt.
A szűrés hatása a tanítóanyagban úgy nyilvánul meg, hogy a lexikalizált szavak aránya a tanítóanyagban 36,84%-ról felmegy 52,46%-ra, valamint a címkézés se-bessége jelentősen lelassul. A rendszer teljesítménye azonos küszöbérték mellett1
1A legjobban teljesítő küszöbérték kimérésére az módszer lasssúsága miatt nem történt meg.
számottevően (kb. 2%), visszaesik 95,53%-ról 93,52%-ra. Ebből az következik, hogy egy nem elhanyagolható paraméterről van szó.
3.3.3. A lexikalizáció forrása
A fenti a tapasztalatokból kiindulva elkezdtem vizsgálni, hogy az immár sokkal alacsonyabban rögzített, legjobb teljesítményt produkáló küszöb esetén a teszt-halmazból vett szavakkal nem érnék-e el jobb eredményt. Az eredeti módszerben a lexikalizálandó szavak a paraméterek állításához használt halmazból származ-tak, és így próbáltak általános modellként szolgálni tetszőleges teszthalmaz szá-mára. Viszont ha a teszthalmaz előre ismert, és a feladat során a gyorsaságnál fontosabb a pontosság1, akkor készíteni lehet egy speciális tanulóhalmazt, ami adaptálva van a teszthalmazhoz2úgy, hogy a teszthalmaz szavaiból – amik teszte-lésidőben adottak3 – vesszük a küszöb fölötti szavakat, hogy azok felhasználásával lexikalizálhassuk a tanítóhalmazt és így a modellt. Ilyen módon csökkenthető a tanítóanyag és a tesztanyag különbsége, és ezáltal javítható a módszer teljesítmé-nye.
A végső kiértékelés előtt nincs rálátásunk a helyes megoldásra, ugyanakkor a módszer éles helyzetben ismeretlen adatra is alkalmazható4, nem minősül a teszt-halmazon tanításnak, valamint a túltanítás is elkerülhető, mivel mindig az adott teszthalmazra adaptált a modell, továbbá az így készített modellek teljesítmé-nye összehasonlítható a különböző teszthalmazok között. A 3.2. ábrán látható a valódi tesztkorpuszszal (VTK) történt mérés, melyben az elméleti maximum meghatározására törekedtem5. Látható, hogy a maximum érték egy nagyobb kü-szöbértéken jelenik meg, viszont így sem éri el aparaméter beállításához használt
1Ilyenek lehetnek azon nagy korpuszok, amelyeket egyszer elemeznek a meglévő eszközökkel, és később mintákat és összefüggéseket keresnek bennük.
2A modell teszhalmazhoz történő adaptálása például a statisztikai gépi fordításban egy jól ismert és alkalmazott módszer (Farajian et al. 2017).
3Itt természetesen le kell mondani a csoportok típusa szerinti szűrésről, mivel azok a tesztelés közben nem ismertek.
4Ez esetben nem tudjuk kiválasztani a leggyakoribb csoportokat a lexikalizációhoz, ahogy az eredeti módszerben szerepelt, mivel nem ismertek a helyes címkék. Ezért csoporttól függetlenül mindent lexikalizálni kell.
5A mérésben felhasználtam a referenciaadatban szereplő csoportokat, hogy kiderítsem, mi-lyen eredményt adna a rendszer az optimális lexikalizáció esetén.
korpusz (PBK) szavaival történt mérések eredményét. Ha ezek után kikapcsol-nánk a csoportok szűrését, hogy ne használjuk fel a referenciaadatot, további lassulással és teljesítményvesztéssel kell számolunk.