felismer´ ese val´ os id˝ oben
Katona Melinda ´es Ny´ul L´aszl´o Szegedi Tudom´anyegyetem
K´epfeldolgoz´as ´es Sz´am´ıt´og´epes Grafika Tansz´ek {mkatona, nyul}@inf.u-szeged.hu
Absztrakt. Az automatikus azonos´ıt´as egyik legfontosabb ´es sz´eles k¨or- ben alkalmazott eleme a vizu´alis k´odokkal t¨ort´en˝o azonos´ıt´as, mely a kereskedelmi folyamatoknak szinte elv´alaszthatatlan r´esze (pl. UPC vo- nalk´odok), ´es a mobil kommunik´aci´onak k¨osz¨onhet˝oen a h´etk¨oznapi ´elet- ben is egyre elterjedtebb (pl. QR k´odokba ´agyazott webc´ımek ´es le´ır´asok).
A k¨ul¨onb¨oz˝o szimb´olumokkal megjelen´ıtett azonos´ıt´ok teszik lehet˝ov´e a g´epek sz´am´ara az elektronikus leolvas´ast, ami nagyban seg´ıti ´es gyors´ıtja az inform´aci´o ´araml´as´at pl. a bolti p´enzt´arakn´al, rakt´ari ´atv´eteln´el, nagy sebess´eg˝u feldolgoz´asi helyeken pl. fut´oszalagokon. Ismertet¨unk egy ´uj, saj´at fejleszt´es˝u algoritmust 1D-s k´odok detekt´al´as´ara, valamint egy m´a- sik ´uj, saj´at elj´ar´ast QR k´odok megtal´al´as´ara. Bemutat´asra ker¨ul egy konkr´et gyakorlati azonos´ıt´asi probl´ema megold´as´ara kidolgozott saj´at elj´ar´as is.
1. Bevezet´ es
A vonalk´odos azonos´ıt´as sz´eles k¨orben elterjedt a mindennapi ´elet¨unkben ´es sz´amos elj´ar´as l´etezik azok gyors ´es megb´ızhat´o azonos´ıt´as´ara. A k´odok loka- liz´al´as´ara, az alkot´o komponensek poz´ıci´oinak ´es jellemz˝oinek meghat´aroz´as´a- ra a legt¨obb elj´ar´as automatikus k´epszegment´al´asi technik´at alkalmaz. Jelen k¨ozlem´eny¨unkben mesters´eges ´es term´eszetes k´odok szegment´al´as´aval is foglal- kozunk.
A vonalk´odok az emberek sz´am´ara nem olvashat´ok, ezt az erre alkalmas dek´odol´o eszk¨oz¨ok val´os´ıtj´ak meg. A vonalk´odok leggyakoribb felhaszn´al´asi te- r¨ulete a kereskedelem, p´eld´aul az ´aruk csomagol´as´an, amely lehet˝ov´e teszi az
´
aru adatainak, ´ugy mint a gy´art´o orsz´ag, a gy´ari sz´am ´es a term´ek cikksz´ama gyors azonos´ıt´as´at. A jelekkel megjelen´ıtett azonos´ıt´o sz´amok teszik lehet˝ov´e a g´epek sz´am´ara az elektronikus leolvas´ast, ami nagyban seg´ıti ´es gyors´ıtja az inform´aci´o ´araml´as´at. A k¨ul¨onb¨oz˝o vonalk´odt´ıpusok saj´atos jellemz˝okkel ren- delkeznek, melyek seg´ıtik a lokaliz´al´asukat. Az 1. ´abra a f˝obb 1D-s ´es 2D-s k´odokat szeml´elteti.
A vonalk´od lokaliz´al´o elj´ar´asok meg´ıt´el´es´enek k´et f˝o szempontja a sebess´eg
´
es a hat´ekonys´ag. Ipari k¨ornyezetben a hat´ekonys´ag kritikus t´enyez˝o, egy-egy hib´as detekt´al´asnak komoly k¨olts´egvonzatai lehetnek. A feldolgoz´asi sebess´eg a detektor j´os´ag´anak m´asodlagos elv´art ¨osszetev˝oje. Mobil k´esz¨ul´ekek eset´eben
1. ´abra: F˝obb vonalk´od t´ıpusok (balr´ol jobbra). Fels˝o sor (1D k´odok): Code39, Cod- abar, Code128, UPC-A; K¨oz´eps˝o sor (1D k´odok): UPC-E, EAN-13, EAN-8, I2of5; Als´o sor (2D k´odok): Codablock, PDF417, Data Matrix, QR.
a hat´ekonys´ag kev´esb´e kritikus az´ota, ami´ota a felhaszn´al´o ´es a telefon inter- akci´oban vannak egym´assal, ´es ´ıgy ´ujabb ´es ´ujabb felv´etelek k´esz´ıthet˝ok a de- tekt´alni k´ıv´ant k´odr´ol. Ez esetben egy gyors proced´ura a k´ıv´anatos. Sz´amtalan technika l´etezik a vonalk´odok digit´alis k´epekr˝ol val´o lokaliz´al´as´ara ´es dek´odol´a- s´ara a vonalszkennel´est˝ol [1, 7] a morfol´ogiai megk¨ozel´ıt´eseken kereszt¨ul [2–5] a konvex burkon ´at [6] eg´eszen a waveletekig [12].
2. Algoritmusok
A digit´alis k´epek min˝os´ege manaps´ag kev´esb´e kifog´asolhat´o, b´ar k´esz¨ulnek gyen- ge min˝os´eg˝u felv´etelek is. A min˝os´egroml´as oka pl. lehet maga a digitaliz´al´o eszk¨oz, illetve a k¨ornyezet okozta neh´ezs´egek. Mindezek miatt gyakran sz¨uks´eges a feldolgoz´as els˝o l´ep´esek´ent a k´ep min˝os´eg´enek jav´ıt´asa a konkr´et elemz´es el˝ott.
2.1. 1D vonalk´odok detekt´al´asa mintailleszt´essel
Ebben a fejezetben bemutatjuk egy ´uj, saj´at fejleszt´es˝u algoritmusunkat 1D-s vonalk´odok lokaliz´al´as´ara. Az algoritmus alapj´aul a mintailleszt´es szolg´al. Az elj´ar´ast ¨osszefoglal´o folyamat´abra a 2. ´abr´an l´athat´o, a fontosabb l´ep´esek r´esz- eredm´enyeit pedig a 3. ´abra illusztr´alja.
Az ´ujramintav´etelez´est k¨ovet˝oen a kapott RGB k´epet L*a*b* sz´ınt´erbe kon- vert´aljuk. A k´es˝obbi feldolgoz´asban m´ar csak az L* (f´enyess´eg) csatorn´at hasz- n´aljuk ´es az ´ıgy kapott t¨obbszint˝u k´eppel dolgozunk. A bemenetk´ent kapott k´epek nem ide´alisak, emiatt a k´epet ´eles´ıtj¨uk (3(b) ´abra).
A detekt´al´as folyamata bin´aris k´epek elemz´es´ere ´ep¨ul, ez´ert az ´eles´ıtett k´epet egy glob´alis k¨usz¨ob´ert´eket meghat´arozva binariz´altuk (3 (c) ´abra). A k´epek min˝os´eg´et zaj is ronthatja. A binariz´alt k´epen ezek kisz˝ur´es´ere el˝obb m´eret alap´u k¨usz¨ob¨ol´est, majd az objektumok t´eglalapalak´us´ag´at is vizsg´altunk. A
2. ´abra:A vonalk´od lokaliz´al´o elj´ar´as folyamata
mintailleszt´eshez el˝ok´esz´ıtett k´epet a 3(d) ´abra illusztr´alja. Annak anal´ogi´aj´ara, hogy a k´od s´avjai p´arhuzamosak, az illeszt´eshez haszn´alt minta is k´et p´arhuza- mos fekete s´avot tartalmaz.
A sablonilleszt´eshez a bemeneti sz¨urke´arnyalatos k´ep ´es az illesztend˝o minta Fourier t´erben vett k´ep´et felhaszn´alva ezeknek pontonk´enti szorzata hat´arozza meg az illeszked´es m´ert´ek´et. A mint´at 170◦-ig 10◦-onk´ent tekintve ´es mindezek
¨
osszegezett eredm´eny´et vett¨uk figyelembe a tov´abbi feldolgoz´asban, teh´at
17
X
i=0
F F T(I)×F F T(Ri∗T), (1)
ahol Iaz input k´ep,Ri (05i517) az aktu´alis forgat´om´atrix, T az illesztend˝o k´epet jel¨oli, F F T-vel pedig a gyors Fourier transzform´aci´ot jel¨olj¨uk. Mivel a haszn´alt minta szimmetrikus, elegend˝o csak a [0◦,180◦) tartom´anyban vizsg´alni a minta illeszked´es´et. A kapott ¨osszegk´epet az ´atlaggal k¨usz¨ob¨olt¨uk, majd az ´ıgy kapott objektumok k¨oz´eppontjainak koordin´at´ait elt´aroltuk.
Az egy klaszterbe tartoz´o pontok j´ol elk¨ul¨on¨ulnek, ´ıgy a megadott k´epre t´avols´agt´erk´epet sz´amoltunk (3(e) ´abra). Annak meghat´aroz´as´ara, hogy az adott objektum ter¨ulet´en az eredeti k´epen vonalk´od helyezkedik-e el, el˝obb az elt´arolt illeszt´esb˝ol ered˝o k¨oz´eppontokat h´att´erpontokk´ent defini´altuk ´ujra a k¨usz¨ob¨olt k´epen (3(g) ´abra). A priori ismeretk´ent szolg´alt, hogy egy vonalk´od legal´abb
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
(j) (k) (l)
3. ´abra:Az 1D vonalk´od detekt´al´as´ara javasolt m´odszer k¨oztes l´ep´esei. (a) input k´ep, (b) ´eles´ıt´es ut´an, (c) binariz´al´as, (d) t´eglalap alak´us´ag vizsg´alat, (e) t´avols´agt´erk´ep, (f) k¨usz¨ob¨olt t´avols´agt´erk´ep, (g) illesztett pontok az objektumokban, (h) lyukak szerinti k¨usz¨ob¨ol´es, (i) a (d) eredm´enyk´epe dilat´aci´o ut´an, (j) a (h) ut´ani illeszked˝o objektumok az (i) k´epen, (k) morfol´ogiai nyit´as, (l) detekt´alt k´odok
nyolc s´avb´ol ´all, ez´ert csak azon objektumokat tartjuk meg, melyek legal´abb ennyi h´att´erpontot tartalmaztak. Ennek a sz˝ur´esnek az eredm´eny´et l´athatjuk a 3(h) ´abr´an.
A k¨ovetkez˝o l´ep´esben az eredeti k´ep binariz´alt v´altozat´an, amit m´ar kor´abban megadtunk, egy n´egyzet alak´u, 2x2-es m´eret˝u szerkeszt˝oelemmel nyit´ast alka-
lmaztunk. Erre a l´ep´esre az´ert volt sz¨uks´eg ´es az´ert ilyen kicsi szerkeszt˝oelemmel, hogy az ¨osszetartoz´o r´egi´ok val´oban ¨ossze´erjenek, de hamis szegmensek ne olvad- janak ¨ossze. A 3(i) ´abra szeml´elteti ezt a l´ep´est. A megl´ev˝o h´att´erpontok ko- ordin´at´ait felhaszn´alva a dilat´alt k´epen csak azon objektumokat tartottuk meg, melyeknek az adott koordin´atapontj´an objektumpont helyezkedett el (3(j) ´abra).
A kapott eredm´enyk´epen az egyes vonalk´odot alkot´o s´avok j´ol elk¨ul¨on´ıthet˝ok.
Ahhoz, hogy ezek egy egys´egk´ent jelenjenek meg, morfol´ogiai nyit´ast alkalmaz- tunk n´egyzet alak´u szerkeszt˝oelemmel, melynek m´eret´et annak f¨uggv´eny´eben hat´aroztuk meg, hogy mekkora volt az egyes objektumokban a s´avok k¨oz¨otti maxim´alis t´avols´ag. Ez´altal biztos´ıtott, hogy minden vonalk´odot alkot´o s´av egy
¨
on´all´o r´egi´ot alkosson. Ezt szeml´elteti a 3(k) ´abra.
2.2. QR k´odok detekt´al´as´ara javasolt m´odszer
A k¨ovetkez˝okben bemutatjuk egy ´uj, saj´at fejleszt´es˝u elj´ar´asunkat a 2-dimenzi´os QR k´odok detekt´al´as´ara. Az elj´ar´as f˝obb l´ep´eseit ¨osszefoglal´o folyamat´abra a 4 ´abr´an, a f˝obb l´ep´esek r´eszeredm´enyei pedig a 5. ´abr´an l´athat´ok.
4. ´abra:A QR k´odok detekt´al´as´anak folyamata
Az ´ujramintav´etelez´est ´es a kvant´al´ast k¨ovet˝oen a t¨obbszint˝u k´epen lok´alis sz˝ur´est v´egezt¨unk, melyben az adott pixelpoz´ıci´o 3×3-as k¨ornyezet´eben az intenzit´as´ert´ekek sz´or´asa adja a sz˝urt k´epen az adott pixel ´ert´ek´et. Ezek az
´
ert´ekek [0,1] intervallumba norm´altak (5(b) ´abra). Ebb˝ol egyszer˝u k¨usz¨ob¨ol´esi technik´aval bin´aris k´epet ´all´ıtottunk el˝o (5(c) ´abra). A k¨usz¨ob´ert´eket az inter- vallum fel´en´el hat´aroztuk meg. A kapott bin´aris k´epet felhaszn´alva az eredeti sz¨urke´arnyalatos k´epen minden olyan pixel intenzit´as´ert´ek´et 0-ra m´odos´ıtottuk, ahol a bin´aris k´epen objektumpontot tal´altunk(5(d) ´abra) seg´ıtve ezzel a tov´abbi feldolgoz´ast.
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
5. ´abra: A javasolt m´odszer k¨oztes l´ep´esei. (a) input k´ep, (b) elv´alaszt´o vonal kira- jzol´asa, (c) binariz´al´as, (d) intenzit´as´ert´ekek m´odos´ıt´asa, (e) morfol´ogiai nyit´as, (f) k¨usz¨ob¨olt LoG sz˝urt k´ep, (g) postprocessz´al´as, (h)-(i) eredm´enyk´ep
Az´ert, hogy intenzit´as´ert´ekben egy j´ol meghat´arozott k¨ornyezetben a pixel-
´
ert´ekek minim´alis vagy maxim´alis sz¨urkes´egi ´ert´eket vegyenek fel, ´es ez´altal el˝oseg´ıts´ek az ¨osszetartoz´o szegmensek szegment´al´as´at, t¨obbszint˝u morfol´ogiai nyit´ast v´egezt¨unk. Az ´ıgy kapott k´epen a QR k´od ter¨ulet j´ol l´athat´oan elk¨ul¨o- n´ıthet˝o, ahogy a 5(e) ´abr´an is l´athat´o. A k¨ovetkez˝o l´ep´esben egy LoG (Laplacian of Gaussian) sz˝ur´est hajtottunk v´egre, amit egy k¨usz¨ob¨ol´es k¨ovetett, mivel a fel- dolgoz´as k´es˝obbi l´ep´eseiben m´ar bin´aris k´eppel dolgoztunk tov´abb (5(f) ´abra).
A nem szorosan ¨osszetartoz´o szegmensek elv´alaszt´asa c´elj´ab´ol egy kisebb szerkeszt˝oelemmel morfol´ogiai er´ozi´ot hajtottunk v´egre (5(f) ´abra).
A tov´abbi m˝uveletek sorozata felfoghat´o egyfajta ut´ofeldolgoz´asnak. Minden olyan objektumpontot megtartottunk a sz˝urt k´epb˝ol, ahol a k¨ul¨onb¨oz˝o jellemz˝ok vizsg´alata ut´an kapott k´ep is objektumpontot tartalmazott. A 5(g) ´abra il- lusztr´alja ennek a m˝uveletnek az eredm´eny´et.
Az (1) formul´at alkalmazva, majd az ott le´ırt k¨usz¨ob¨ol´est felhaszn´alva kisz˝ur- t¨uk a val´osnak v´elt vonalk´od ter¨uleteket. QR k´odok eset´eben nem szimmetrikus sablont haszn´altunk, de elegend˝o volt az 1D-s esethez hasonl´oan egy sablonnak az elforgatottjait vizsg´alni. A 5(h) ´es 5(i) ´abra a kapott eredm´enyk´epeket mutatja.
3. Ki´ ert´ ekel´ es
Ebben a fejezetben a bemutatott saj´at algoritmusok, valamint a szakirodalom- ban k¨oz¨olt elj´ar´asok hat´ekonys´ag´at vetj¨uk ¨ossze adott jellemz˝ok mellett. A k´e- s˝obbiekben az egyes algoritmusokra val´o hivatkoz´ashoz bet˝uszavakat vezett¨unk be, melyek a k¨ovetkez˜ok: LINB (Lin ´es Lin alapvet˝o k´epm˝uveleteket haszn´al´o elj´ar´asa) [8], LINM (Lin ´es Lin fut´ashosszok sz´am´ıt´as´an alapul´o elj´ar´asa) [9], OHBUCHI (Ohbuchi et al. lok´alis k¨usz¨ob¨ol´esen alapul´o elj´ar´asa) [10] valamint Saj´at1D ´es Saj´atQR az ´altalunk kidolgozott ´uj algoritmusok 1D-s ill QR k´odok detekt´al´as´ara. A [5] cikkben k¨oz¨olt algoritmusunk hat´ekonys´ag´at is vizsg´altuk, a Saj´at1D bet˝usz´o alatt 2012 ´evsz´ammal jelezve.
3.1. Teszthalmaz, tesztk¨ornyezet, implement´aci´o
Digit´alisan tesztk´epeket gener´altunk a 1. ´abr´an bemutatott 1D-s vonalk´odt´ıpu- sokat alapul v´eve. Mindehhez elegend˝o volt a k¨ul¨onb¨oz˝o k´odokb´ol egyet-egyet kiv´alasztani. A tesztk´epek egy darab vonalk´odot tartalmaznak ´es k¨ul¨onf´ele tor- z´ıt´asokkal terheltek.
A gener´alt k´epeink a k¨ovetkez˝o tulajdons´agokkal rendelkeznek: a k´epeket 15◦-onk´ent elforgattunk 0◦-t´ol 180◦-ig, Gauss elmos´ast alkalmaztunk 3×3- as szerkeszt˝oelemmel ´es 6 k¨ul¨onb¨oz˝o σ-val, valamint addit´ıv zajt is adtunk a k´epekhez 10%-os l´ept´ekkel a 0% ´es 50% k¨oz¨otti intervallumban. ¨Osszegezve teh´at 8 k¨ul¨onf´ele t´ıpus´u vonalk´odb´ol 12 orient´aci´oban, 6 k¨ul¨onb¨oz˝o sim´ıt´as´u Gauss sz˝ur˝ovel ´es 6 elt´er˝o m´ert´ek˝u addit´ıv zajjal terhelve, perspekt´ıv torzul´assal,
¨
osszesen k¨ozel 15 000 k´epet gener´altunk. Tov´abbi 4220 vonalk´odot tartalmaz´o val´os ´eletbeli k´epet is felhaszn´altunk a The WWU Muenster adatb´azisb´ol. Ezen k´epeken semmif´ele manipul´aci´ot nem hajtottunk v´egre, de eleve torz´ıt´asokkal terheltek, nem ide´alisak. A 6. ´abr´an l´athat´o n´eh´any k¨ul¨onb¨oz˝o torz´ıt´assal ter- helt gener´alt ´es val´os tesztk´ep.
6. ´abra: Gener´alt minta 1D tesztk´epek k¨ul¨onb¨oz˝o torz´ıt´asok mellett, valamint val´os p´eld´ak
A QR k´od detekt´al´o algoritmusok ki´ert´ekel´es´ehez megl´ev˝o k´epi adatb´azisokat haszn´altunk. Egy k¨ozel 1400 val´os tesztk´epb˝ol ´all´o adatb´azis [11], valamint 10 000 szintetikus tesztk´ep ´allt a rendelkez´es¨unkre. A 7. ´abr´an szintetikus ´es val´os k´epek l´athat´ok a teszthalmazokb´ol.
7. ´abra:Val´os ´es szintetikus QR k´odokat tartalmaz´o tesztk´epek
3.2. Metrik´ak
Az algoritmusok hat´ekonys´ag´anak m´er´es´ere a Jaccard-f´ele hasonl´os´agi egy¨uttha- t´ot vett¨uk alapul, ahol a t´enyleges ´es a detekt´alt k´odr´egi´ok befoglal´o t´eglalapj´a- nak ´atfed´es´et vizsg´altuk. Azon egyedek fognak true pozit´ıv p´eld´anak megfelelni, teh´at val´os k´odter¨uletnek bizonyulni, melyekn´el a detekt´alt objektum legal´abb 90%-ban fed´esben ´all az el˝ore meghat´arozott ter¨ulettel. Minden olyan objektu- mot hamis pozit´ıv p´eld´anak tekint¨unk, mely detekt´alt, de enn´el kisebb, vagy egy´altal´an nincs fed´esben semmilyen vonalk´od ter¨ulettel. Hamis negat´ıv p´eld´ak lesznek azok, melyek ugyan vonalk´od ter¨uletek, de az algoritmus nem detekt´alta
˝
oket. Az eredm´enyek ismeret´eben meg´allap´ıthat´o, hogy az ¨osszes vizsg´alt algo- ritmus hat´ekonyan k´epes vonalk´od detekt´al´asra.
Kor´abban eml´ıtett¨uk, hogy a gener´alt tesztk´epek k¨ul¨onb¨oz˝o m´ert´ek˝u hozz´a- adott zajt, sim´ıt´ast, elforgat´ast, ny´ujt´ast, illetve perspekt´ıv torzul´ast tartal- maznak. Az elforgat´as, ny´ujt´as, perspekt´ıv torzul´as nem ´erinti az eg´esz k´epet, csak a vonalk´odot. A tapasztalat azt mutatta, hogy az elj´ar´asok az elforgat´asra, ny´ujt´asra, ´es perspekt´ıv torzul´asra invari´ansak, ez´ert a tov´abbiakban csak a zaj
´
es a sim´ıt´as jellemz˝ok hat´as´at vizsg´aljuk.
3.3. Eredm´enyek
Az 1D vonalk´od detekt´al´o elj´ar´asok ¨osszehasonl´ıt´as´anak eredm´enyeit a 1. t´abl´a- zatban, m´ıg a fut´asi id˝oket a 2. t´abl´azatban foglaltuk ¨ossze, a szintetikus ´es a val´os k´ephalmazokra lebontva. Meg´allap´ıthat´o, hogy mindegyik vizsg´alt elj´ar´as gyorsan k´epes detekt´alni a vonalk´od szegmenseket ´es a sebess´egbeli sz´or´as sem sz´amottev˝o.
A QR k´odokat detekt´al´o elj´ar´asok ¨osszehasonl´ıt´as´anak eredm´enyeit a 3. t´ab- l´azat, m´ıg a fut´asi id˝oket a 4. t´abl´azat mutatja. Az 1D-s esethez k´epest az algorit- musok kisebb hat´ekonys´aggal k´epesek detekt´alni a k´ıv´ant ter¨uletet, ugyanakkor m´eg ez az eredm´eny is elfogadhat´o. L´athat´o a 3. t´abl´azatban, hogy k¨ozel ugyan- akkora hat´ekonys´aggal k´epesek a val´os tesztk´epeket detekt´alni, mint a szin- tetikusakat. OHBUCHI algoritmusa l´athat´oan nagyon gyors, ugyanakkor el- mondhat´o, hogy ennek a gyorsas´agnak az ´ara (nem meglep˝o m´odon) a hat´ekonys´ag cs¨okken´ese.
Az eredm´enyekb˝ol l´atszik, hogy az ¨osszehasonl´ıt´asban szerepeltetett minde- gyik (k¨ul¨onb¨oz˝o alapelven m˝uk¨od˝o) vonalk´od detekt´al´o algoritmus hat´ekony, de a javasolt ´uj m´odszereink mutatt´ak a legnagyobb hat´ekonys´agot.
4. K´ epfeldolgoz´ o elj´ ar´ as egy hibrid vizu´ alis k´ od felismer´ es´ ere
Egy olyan lehets´eges hibrid vizu´alis k´odot mutatunk be, melyben egy j´ol defini´alt mesters´eges azonos´ıt´o (egy QR k´od) ´es egy mesters´eges ´uton el˝o´all´ıtott (sz´ort r´eszecsk´ek alkotta) term´eszetes mint´azat jelenik meg egy k¨oz¨os k´ept´erben. A tov´abbiakban ezen hibrid azonos´ıt´ora az NFI (Natural Feature Identifier) bet˝u- sz´oval hivatkozunk.
A mesters´eges ´es term´eszetes azonos´ıt´o kombin´aci´oj´aval adott c´ımke k¨ozep´en egy megadott m´eret˝u standard QR k´od helyezkedik el, mely relev´ans adatot k´odol. A QR k´od k¨ornyezet´eben v´eletlenszer˝uen sz´etsz´ort glitterek helyezked- nek el, egy meghat´arozott vastags´ag´u ´es sz´ın˝u keretben. A glitterek sz´ama, sz´ıne, m´erete, alakja, poz´ıci´oja nem k¨ot¨ott, tekinthet˝ok random mint´aknak is. A 8. ´abr´an l´athat´o ezekre n´eh´any p´elda.
A c´ımk´ek nyomdai ´uton k´esz¨ulnek ´es felhelyez´es ut´an roncsol´od´as n´elk¨ul nem t´avol´ıthat´ok el. A nyomdai m˝uveletsor egy l´ep´es´eben a c´ımk´ekr˝ol referenciak´ep k´esz¨ul ide´alis f´enyviszonyok ´es kamerapoz´ıci´o alkalmaz´as´aval.
A feladat mobil eszk¨ozzel f´enyk´epezett biztons´agi c´ımk´ek adott r´esz´en v´elet- lenszer˝uen elhelyezked˝o r´eszecsk´ek hely´enek meghat´aroz´asa alapj´an a c´ımk´evel megjel¨olt objektumok azonos´ıt´as´anak t´amogat´asa. Az algoritmusnak ´atlagos mo- bilk´esz¨ul´ekkel k´esz¨ult k´epeken kell dolgoznia, mely torz´ıt´asokat tartalmazhat.
Elv´ar´as tov´abb´a, hogy egy k´ep feldolgoz´asa valamint a k´od ellen˝orz´ese mobil eszk¨oz¨on is r¨ovid id˝o alatt (<1.5 s) elv´egezhet˝o legyen.
Az alapprobl´ema h´arom l´ep´esre bonthat´o: k´epalkot´as, k´epfeldolgoz´as, azono- s´ıt´as. A k´epalkot´as, vagyis az NFI c´ımk´er˝ol t¨ort´en˝o f´enyk´ep k´esz´ıt´ese a mobil eszk¨oz standard be´ep´ıtett funkci´oival elv´egezhet˝o. A k´epfeldolgoz´as r´esz v´egzi a
1. t´abl´azat:Az algoritmusok hat´ekonys´aga (H), lefedetts´ege (L), valamint pontoss´aga (P) (sz´azal´ekban) val´os ´es szintetikus 1D k´odot tartalmaz´o tesztk´epeken
LIN Saj´at1D
LINB LINM 2012 2014
H P L H P L H P L H P L
szintetikus88.597.3 99.879.0 100 94.099.9 95.897.499.6 98.9 val´os 93.868.9 93.888.167.6 88.294.490.2 94.497.098.1 97.0
2. t´abl´azat:Az algoritmusok fut´asi ideje (´atlag (sec)±sz´or´as)
LIN Saj´at1D
LINB LINM 2012 2014
szintetikus 0.724±0.214 0.974±0.148 0.023±0.010 0.625±0.150 val´os 0.981±0.281 0.795±0.726 0.259±0.335 0.683±0.283
3. t´abl´azat:Az algoritmusok hat´ekonys´aga (H), lefedetts´ege (L), valamint pontoss´aga (P) (sz´azal´ekban) val´os ´es szintetikus QR k´odot tartalmaz´o tesztk´epeken
OHBUCHI LINM Saj´atQR
H P L H P L H P L
szintetikus87.3100.0 83.788.993.4 94.989.599.9 89.5 val´os 83.6 95.0 87.584.594.0 89.389.095.7 92.6
4. t´abl´azat:Az egyes elj´ar´asok fut´asi ideje (´atlag (sec)±sz´or´as)
OHBUCHI LINM Saj´atQR
szintetikus 0.011±0.007 1.004±0.073 0.267±0.023 val´os 0.237±2.225 1.225±0.809 0.419±1.346
8. ´abra:Mintak´epek az NFI c´ımk´ek protot´ıpus´ara k¨ul¨onf´ele torz´ıt´asok mellett
nyers f´enyk´epeken a c´ımke ter¨ulet´enek megtal´al´as´at, a c´ımke r´esz´et k´epez˝o QR k´od detekt´al´as´at, az NFI r´egi´o behat´arol´as´at, a glitterek detekt´al´as´at, tov´abb´a a glitterekhez a k´epb˝ol kinyerhet˝o le´ır´ok meghat´aroz´as´at. Az azonos´ıt´as, hite- les´ıt´es a k´epfeldolgoz´o f´azisb´ol kapott le´ır´o adatsorok alapj´an v´egzi el az aktu´alis k´epen l´athat´o c´ımke ¨osszevet´es´et a referencia adatokkal. E l´ep´es v´eg´en kaphatunk egy egyszer˝u igen/nem d¨ont´est, vagy valami megb´ızhat´os´agi ´ert´eket arra vonat- koz´oan, hogy az adott c´ımke eredeti (hiteles) vagy sem. Ebben a cikkben a k´epfeldolgoz´asi feladatra szor´ıtkozunk.
4.1. A felismer´es k´epfeldolgoz´asi szakasza
A c´ımke specifik´aci´oj´at´ol f¨ugg˝oen k¨ul¨onb¨oz˝o k´epfeldolgoz´asi megk¨ozel´ıt´esek k´ep- zelhet˝oek el. A mi megk¨ozel´ıt´es¨unk fontosabb l´ep´esei az al´abbiak:
1. QR k´od helyzet´enek ´es orient´aci´oj´anak meghat´aroz´asa
2. A glittereket tartalmaz´o z´ona behat´arol´asa ´es glitterek detekt´al´asa 3. Jellemz˝ok kinyer´ese
A QR k´od el´eg jellegzetes mint´azat (a k´odolt tartalomt´ol f¨uggetlen¨ul), ez´ert ennek detekt´al´asa k¨ozvetlen¨ul is t¨ort´enhet a teljes k´epen. Mivel sz¨uks´egtelennek bizonyult az eredeti (viszonylag nagy felbont´as´u) k´epm´eret haszn´alata, ez´ert el˝osz¨or ´ujramintav´etelezz¨uk a k´epet, ´ıgy l´enyegesen reduk´alva a feldolgozand´o k´eppontok sz´am´at ´es ezzel a feldolgoz´asi id˝ot. Egy alkalmas m´eretnek a 450 pixel sz´eles felbont´ast v´alasztottuk (a k´ep magass´aga pedig az aktu´alis k´epar´anynak megfelel˝oen alakul, hiszen a kamer´ak elt´er˝o ar´anyokkal dolgozhatnak).
Ezt k¨ovet˝oen a kapott RGB k´epet L*a*b* sz´ınt´erbe konvert´aljuk. A k´es˝obbi feldolgoz´asban m´ar csak az L* (f´enyess´eg) csatorn´at haszn´aljuk. A tapasztala- tok azt mutatt´ak, hogy az RGB k´ep csatorn´ainak s´ulyozott ¨osszeg´evel kapott
sz¨urke´arnyalatos k´epn´el, illetve a HSV sz´ınt´erkonverzi´on´al hat´ekonyabbnak bi- zonyult a L* csatorna haszn´alata. Az input k´epek nem ide´alisak, adott esetben k¨ul¨onf´ele torz´ıt´asokkal terheltek, ez´ert valamif´ele k´epjav´ıt´o m˝uvelet elv´egz´ese aj´anlatos. A QR k´od lokaliz´al´as´anak tov´abbi l´ep´eseit az 1. algoritmus foglalja
¨
ossze. Az´altal, hogy meghat´aroztunk a QR k´od helyzet´et, az orient´aci´oja is meghat´arozhat´ov´a v´alt. A helymeghat´aroz´as k¨oztes eredm´enyk´epei a 9. ´abr´an l´athat´ok.
1. algoritmus. QR k´od helyzet´enek meghat´aroz´asa 1. l´ep´esKontraszt sz´eth´uz´as
2. l´ep´esfmo:=f◦se1
3. l´ep´esLoG sz˝ur´es 4. l´ep´esfme :=fmo se2
5. l´ep´esfor minden komponensdo
if f˝o´atl´o hossza > thresha and k¨oralak´us´ag< threshc
then
Lehets´eges QR k´od ter¨ulet else
Nem vonalk´od ter¨ulet, elvetj¨uk endif
endfor
6. l´ep´esfme :=fme⊕se3
Az ´ıgy kapott k´epen meghat´aroztuk az objektum sarokpontjait, majd a kapott koordin´atapontokat haszn´altuk fel a rektifik´alt k´ep el˝o´all´ıt´as´ahoz. Erre amiatt van sz¨uks´eg, hogy ¨osszehasonl´ıthat´ov´a v´alhassanak a k´es˝obbiekben az in- put k´ep glittereinek jellemz˝oi a referencia adatb´azisbeliekkel. A rektifik´al´as sor´an a k´epet ´ugy transzform´aljuk, hogy a QR k´od val´oban n´egyzet alak´u ter¨uletk´ent jelentkezzen, mintha a kamera pontosan a c´ımke s´ıkj´ara mer˝oleges ir´anyb´ol k´esz´ıtette volna a felv´etelt, r´aad´asul ´ugy, hogy a k´ep sorai ´es oszlopai p´arhu- zamosak a QR k´od f˝o ir´anyaival.
Ahhoz, hogy a vizsg´alt k´ep t´enylegesen ¨osszem´erhet˝o legyen a referencia
´
ert´ekekkel, sz¨uks´eges meghat´arozni a QR k´od orient´aci´oj´at, vagyis, hogy a k´epen tal´alhat´o QR k´od hogyan helyezkedik el a t´arolt poz´ıci´ohoz k´epest. Annak meg- ad´as´ahoz, hogy a tekintett QR k´od, illetve glitterz´ona milyen m´ert´ekben van elforgatva, felt´etelezz¨uk, hogy a referencia adatb´azisbeli QR k´od a szok´asos ir´anyults´aggal rendelkezik (a 3 f˝o lok´ator minta a fels˝o ´es baloldali sarkokban van). Az elforgat´asi sz¨og meg´allap´ıt´asa is t¨obb l´ep´esben t¨ort´enik. A QR k´od referenciapontjainak szegment´al´as´at a 2. algoritmus ismerteti.
9. ´abra:A QR k´od lokaliz´aci´o k¨oztes eredm´enyk´epei (sorfolytonosan): input k´ep, kon- trasztsz´eth´uz´ast k¨ovet˝oen, morfol´ogiai nyit´as eredm´enye, LoG sz˝ur´es, k¨usz¨ob¨olt LoG sz˝urt k´ep, nem ¨osszef¨ugg˝o ter¨uletek sz´etv´alaszt´asa er´ozi´oval, k¨oralak´us´ag szerinti, il- letve f˝o´atl´o szerinti k¨usz¨ob¨ol´es
2. algoritmus. Referencia n´egyzetek poz´ıci´oinak megad´asa 1. l´ep´esAdapt´ıv k¨usz¨ob¨ol´es
2. l´ep´esfcomp :=f−1 3. l´ep´esLyukfelt¨olt´es
4. l´ep´esEuklideszi t´avols´agt´erk´ep sz´am´ıt´asa 5. l´ep´esfmc := fcomp•se1
6. l´ep´esfor i:= 0, . . . , Mdo for j:= 0, . . . , N do
if fmc(i, j)> mina
then
fmc(i, j)←1 else
fmc(i, j)←0 endif
endfor endfor
A kapott eredm´eny tartalmazhat nem val´os k´od objektumokat is. Ezek kisz˝u- r´es´ere megalkottunk egy felt´etelrendszert. Mivel csak a k´od ter¨ulet´et vizsg´aljuk,
´ıgy t¨obb prior inform´aci´o is adott. A krit´eriumok megad´as´an´al az egyes szeg- mensek k¨oz´eppontjait tekintett¨uk. Elegend˝o azon ter¨uleteket megtartani, melyek x, y koordin´at´ai maxim´alis vagy minim´alis ´ert´ekeket vesznek fel a t¨obbi cen- troid viszonylat´aban, illetve ahol ha az x, y p´arok k¨oz¨ul az egyik minim´alis, akkor a m´asik maxim´alis. Mindezek ut´an m´ar csak a fennmarad´o objektumok k¨oz´eppontjait tekintj¨uk ´es ezek egym´ashoz viszony´ıtott helyzet´enek vizsg´alata megmutatja, hogy mely sarkokban tal´alhat´o n´egyzet, amib˝ol megkaphat´o a QR k´od orient´aci´oja. A folyamat l´ep´esei l´athat´oak a 10. ´abr´an.
10. ´abra:A QR k´od orient´aci´oj´at meghat´aroz´o l´ep´esek
A QR k´od helyzet´enek meghat´aroz´as´at k¨ovet˝oen az NFI z´ona megtal´al´asa a feladat. A specifik´aci´o alapj´an adottak a QR k´odot tartalmaz´o n´egyzet ´es a k¨uls˝o n´egyzet oldalainak val´os m´eretei (millim´eterben). Ebb˝ol a k´epen detekt´alt QR r´egi´o m´eret´enek ismeret´eben egyszer˝u sz´am´ıt´assal meghat´arozhat´o az NFI z´ona ter¨ulete a k´epen. A k´es˝obbi azonos´ıt´ashoz sz¨uks´eges m´eg az NFI z´ona k¨oz´eppontj´anak meghat´aroz´asa a referencia koordin´ata rendszer megad´as´ahoz.
A k´epfeldolgoz´ast ig´enyl˝o feladatok utols´o l´ep´ese a behat´arolt NFI z´ona ter¨ulet´en elhelyezked˝o glitterek detekt´al´asa. Ezt adapt´ıv k¨usz¨ob¨ol´essel v´egezz¨uk a k´epen. A t´evesen detekt´alt objektumok k¨ul¨onf´ele alaki jellemz˝ok alapj´an ki- sz˝urhet˝ok. Jelen algoritmusunk ter¨ulet ´es k¨oralak´us´ag alapj´an tov´abb sz˝uk´ıtette a lehets´eges val´os glitterek sz´am´at. A folyamatot a 11. ´abra szeml´elteti.
4.2. Azonos´ıt´as
A k´epekb˝ol kinyerhet˝o inform´aci´o lehet˝ov´e teszi, hogy a pontok p´aros´ıt´as´ahoz jellemz˝ok sz´eles palett´aja ´alljon a rendelkez´esre. A glittereket tartalmaz´o z´ona koordin´at´az´as´at mindk´et ir´anyban a [-1.0, 1.0] intervallumban hat´arozzuk meg, a koordin´atarendszer orig´oja pedig a QR k´odmez˝o (´es egyben az NFI z´ona)
11. ´abra:Glitterek szegment´al´as´anak l´ep´esei
k¨oz´eppontja. Ebben a koordin´atarendszerben keres¨unk a vizsg´alt c´ımk´en de- tekt´alt glitterekhez p´arokat a referencia k´epen tal´alt glitterek k¨oz¨ott ´es a k´epb˝ol kinyert jellemz˝ok alapj´an egy alkalmasan v´alasztott hasonl´os´agi m´ert´ek alapj´an tudunk d¨onteni az NFI k´od elfogad´as´ar´ol vagy elutas´ıt´as´ar´ol.
5. Osszefoglal´ ¨ as
Ismertett¨uk k´et ´uj, saj´at fejleszt´es˝u algoritmust, egyet 1D vonalk´odok felis- mer´es´ere, m´ıg a m´asikat a 2D QR k´odokra. Ezeket ¨osszehasonl´ıtottuk szakiro- dalmi algoritmusokkal, melyek k¨oz¨ott volt univerz´alis is (ami 1D ´es 2D k´odt´ıpu- sokat is hat´ekonyan detekt´al) ´es olyanok is, amelyek 1D vagy 2D k´odt´ıpusokra specializ´altak. Az elj´ar´asok pontoss´ag´anak ´es fut´asi idej´enek vizsg´alat´ara l´etre- hoztunk egy k¨ozel 15 000 ´es egy 10 000 tesztk´epet mag´aban foglal´o adatb´azist. Az eredm´enyek azt igazolj´ak, hogy az ´uj, bemutatott algoritmusaink hat´ekonys´aga mindk´et k´odt´ıpus eset´eben jobb, mint az ¨osszehasonl´ıt´asban szerepl˝o szakiro- dalmi m´odszerek´e ´ugy ide´alis, mint torz´ıt´asokkal terhelt k´epek eset´en is. A fut´asi id˝ok alapj´an j´ol l´atszik, hogy m´odszereinkhez val´os idej˝u implement´aci´ok is k´esz´ıthet˝ok. Bemutattuk tov´abb´a a vonalk´odok ´es term´eszetes azonos´ıt´ok egy gyakorlati alkalmaz´as´at is, ´es v´azoltuk algoritmusunkat egy lehets´eges hibrid vizu´alis k´od felismer´es´ere.
K¨ osz¨ onetnyilv´ an´ıt´ as
Az NFI azonos´ıt´ok felismer´es´evel kapcsolatos kutat´ast az InterSoft Hungary Ltd.-n bel¨uli R&D projekt finansz´ırozta ´es minden kereskedelmi c´el´u jog a t´a- mogat´o c´eget illeti.
A kutat´as r´eszben a T ´AMOP 4.2.4.A/2-11-1-2012-0001 azonos´ıt´o sz´am´u Nem- zeti Kiv´al´os´ag Program - Hazai hallgat´oi, illetve kutat´oi szem´elyi t´amogat´ast biztos´ıt´o rendszer kidolgoz´asa ´es m˝uk¨odtet´ese orsz´agos program c´ım˝u kiemelt projekt keret´eben zajlott. A publik´aci´ot a T ´AMOP-4.2.2.A-11/1/KONV-2012- 0073 azonos´ıt´o sz´am´u Telemedicina f´okusz´u kutat´asok Orvosi, Matematikai ´es
Informatikai tudom´anyter¨uleteken (TOMI) c´ım˝u projekt t´amogatta. A projekt az Eur´opai Uni´o t´amogat´as´aval, az Eur´opai Szoci´alis Alap t´arsfinansz´ıroz´as´aval val´osul meg.
Irodalom
1. Robert Adelmann. Toolkit for bar code recognition and resolving on camera. In Phones - Jump Starting the Internet of Things. In: Informatik 2006 workshop on Mobile and Embedded Interactive Systems, 2006.
2. P´eter Bodn´ar and L´aszl´o G. Ny´ul. Efficient barcode detection with texture analysis.
In Signal Processing, Pattern Recognition, and Applications, Proceedings of the Ninth IASTED International Conference on, pages 51–57, 2012.
3. P´eter Bodn´ar and L´aszl´o G. Ny´ul. Improving barcode detection with combina- tion of simple detectors. InSignal Image Technology and Internet Based Systems (SITIS), 2012 Eighth International Conference on, pages 300–306, 2012.
4. Melinda Katona and L´aszl´o G. Ny´ul. A novel method for accurate and efficient barcode detection with morphological operations. InSignal Image Technology and Internet Based Systems (SITIS), 2012 Eighth International Conference on, pages 307–314, 2012.
5. Melinda Katona and L´aszl´o G. Ny´ul. Efficient 1D and 2D barcode detection using mathematical morphology. In Mathematical Morphology and Its Applications to Signal and Image Processing, volume 7883 ofLecture Notes in Computer Science, pages 464–475. 2013.
6. Suran Kong. QR code image correction based on corner detection and convex hull algorithm. Journal of Multimedia, 8:662–668, 2013.
7. Jian-Hua Li, Yiwen Wang, Yi Chen, Meng Zhang, Guo-Cheng Wang, and Ping Li.
Morphological segmentation of 2-D barcode gray scale image. JCP, 8:2461–2468, 2013.
8. Daw-Tung Lin and Chin-Lin Lin. Multi-symbology and multiple 1D/2D barcodes extraction framework. In Proceedings of the 17th International Conference on Advances in Multimedia Modeling - Volume Part II, pages 401–410, 2011.
9. Daw-Tung Lin and Chin-Lin Lin. Automatic location for multi-symbology and multiple 1D and 2D barcodes.Journal of Marine Science and Technology, 21:663–
668, 2013.
10. Eisaku Ohbuchi, Hiroshi Hanaizumi, and Lim Ah Hock. Barcode readers using the camera device in mobile phones. In Proceedings of the 2004 International Conference on Cyberworlds, CW ’04, pages 260–265, 2004.
11. G´abor S¨or¨os and Christian Fl¨orkemeier. Blur-resistant joint 1D and 2D barcode localization for smartphones. InProceedings of the 12th International Conference on Mobile and Ubiquitous Multimedia, pages 11:1 – 11:8, 2013.
12. Steffen Wachenfeld, Sebastian Terlunen, and Xiaoyi Jiang. Robust recognition of 1-D barcodes using camera phones. InPattern Recognition, 2008. ICPR 2008. 19th International Conference on, pages 1–4, 2008.
