Lógó János Máté1 – Barsi Árpád2
1 doktorandusz, BME Fotogrammetria és Térinformatika Tsz., logo.janosmate@epito.bme.hu
2 egyetemi tanár, BME Fotogrammetria és Térinformatika Tsz., barsi.arpad@epito.bme.hu
Bevezetés
A közúti közlekedés napjaink nem titkolt vágya az, hogy a technológiai fejlődésnek köszönhetően egyre nagyobb automatizáltságra tegyen szert. Ennek köszönhetően számos pozitívum valósul meg, többek között nagyobb biztonság az utakon, hatékonyabb energiafelhasználás, csökkenő utazási idő, kevesebb jármű, kisebb környezeti terhelés és nagyobb felszabaduló tér. A felsorolást még hosszan lehetne folytatni természetesen.
Az egyre növekvő automatizálás a járművek irányításában részletesebb és pontosabb térbeli térképeket követel meg, amik már számos olyan elemet is tartalmaznak, amelyek nem képezik a mostani térképek részét. Az ilyen elemeket, mint a közlekedési táblák oszlopait, vagy a gyalogátkelőhelyek felfestését a mozgó jármű mérése után a saját pozíciójának ellenőrzésére, megerősítésére vagy akár meghatározására is felhasználhat, mivel azok a többi térképi elemhez hasonlóan helyadattal rendelkeznek.
A növekvő részletességű térképi adatbázis kialakításához a kutatók és fejlesztők minden elérhető technológiai megoldást felhasználnak; ezek között meglehetősen divatos a mesterséges intelligencia alkalmazása. A közösségi adatnyerés (crowd sourcing) szintén olyan lehetőségeket biztosít, amelyek jelentős mértékben képesek növelni a térkép minőségét. Ezt a két eszközt építette be térképező rendszerébe a Mapillary cég (‘About | Mapillary’ 2019), amelynek rendszerét alapos tesztelésnek vetettük alá. E munka során megismertük az amúgy nem dokumentált eljárásokat viselkedésük közben, továbbá általunk ismert területen vizsgálni tudtuk a megoldás alkalmazhatóságát. Nem utolsósorban izgalmas projektfeladatot tudtunk szervezni a
Abstract: Increasing automation in-vehicle control requires more detailed and accurate spatial maps, which already includes many elements that are not part of current maps. The opportunities offered by the Mapillary system combine crowdsourcing and community work with the potential of artificial intelligence. Built-in algorithms allow getting important information for road traffic, such as signs and pavement signals, which can be extracted. Traffic signs, pedestrian crossings, etc., like other map elements, have location data, which after detecting by the moving vehicle, can be used to check, strengthen, or even determine its own position. The article presents the testing processes and results.
BME térinformatikus hallgatóinak. A rendszer tesztelése folyamán időnként meglepő megoldásokat, eredményeket kaptunk, de összességében arra tudtunk következtetni, hogy a bemutatott rendszerhez hasonló megoldások várhatóan fel tudják lendíteni a térképezés sikerességét.
Mapillary
A Mapillary egy térképi adatbázis, mely az egyes felhasználók által feltöltött adatok alapján bővül. A rendszer 2013-ban jött létre azzal a céllal, hogy mindenki számára elérhető legyen egy képekkel kibővített térképi adatbázis. Az évek alatt több mint 190 országból csatlakoztak felhasználók az adatgyűjtéshez. A Mapillary és hozzá hasonló térképi adatbázisok elsődleges célja egy olyan mindenki számára elérhető térképi állomány létrehozása, mely alkalmas lehet arra, hogy az önvezető autók térképi adatbázisaként funkcionáljon. Ez az adatbázis olyan mesterséges intelligenciával van bővítve, ami a feltöltött képeket szegmentálja és ezeken képes felismerni, valamint megjelölni a rajta található közlekedési táblákat és más fontos objektumokat. A cég ezen felül számos kutatást is végez a Structure-from-Motion (SfM), és az objektumfelismerés irányában. A térképes felület alapja az OpenStreetMap. Erre kerül rá minden, amit az egyes felhasználók töltenek fel.
A feltöltések lehetnek videók vagy képek, amelyek a térképen zöld pontokként jelennek meg. Egy felhasználó által készített képsorozat képei (ill. videó képkockái) ugyancsak zöld vonallal kerülnek összekötésre. Az objektumdetektálás mellett egyszerre szemantikus szegmentálást is végez az algoritmus, majd az alapján meghatározza, hogy a felvétel mely része tartozik az úthoz és melyik a tereptárgy vagy más objektum. Eszközeit tekintve egyszerű a használata; elég hozzá csupán egy helymeghatározásra képes okostelefon. Videó feltöltése is lehetséges, de ebben az esetben már saját magunknak kell előállítani a geotaggelést. Az adatokat vagy a saját applikációján keresztül vagy akár parancssorosan is fel lehet tölteni. Fontos szempont, hogy a feltöltött képeket minden esetben felülvizsgálják, ellenőrzik, hogy a felhasználói feltételeknek megfelel-e. A validálást követően egy objektumfelismerő algoritmus közlekedési táblákat keres a képeken, ám ehhez a folyamathoz több időre van szüksége a rendszernek, mint a feltöltés előtti ellenőrzéshez. Amennyiben az objektumfelismerés kevésbé volt sikeres, úgy manuális módon is lehet javítani az objektumok felismerésén. Ehhez ki kell választani, hogy a kívánt objektum micsoda, és egy lehatároló téglalap segítségével be lehet jelölni azt. A már meglévő adatokat és térképet le lehet tölteni, akár szervezeti szinten is, de egyéni regisztrálók is használhatják.
Tesztelési módszer
A járműfedélzeten elhelyezett kamerák képeinek feldolgozásában az automatikus számítógépes módszerek tesznek jó szolgálatot. Emiatt az automatikus feldolgozás minőségétől nagyon függ a térkép minősége. Vizsgálatunk ezért erősen a képek feldolgozására koncentrál.
A Mapillary a feldolgozást a mesterséges intelligencia bevonására alapozza.
A módszer lényege, hogy a képet először szegmentálják, majd a szegmensekből azok felhasználását megállapítják, végül a közlekedési táblákat szofisztikált eljárással felismerik. A tesztelési módszertan ezért a technológia elemein halad végig következetesen.
Az első teszt a képek elkészítése, majd feltöltése a rendszerbe. A leírások szerint a feldolgozáshoz álló- és mozgóképeket lehet feltölteni, így mindkét esetet vizsgálni kell. A feltöltés során a képméretek, a képek száma, elrendezése, a felvételezés körülményei (időjárás, fényviszonyok stb.) mind vizsgálandók. A képformátumra a rendszernek kikötése van, tehát ezt nem szükséges tesztelni.
A következő tesztelési csoport a szegmentálást és az ettől nem szétválasztható felismerést célozza meg. Mivel a legfontosabb térképi objektumnak a közlekedési táblákat tekintjük, ezért ez volt a vizsgálat magja. A táblák esetén a szegmentálás során ellenőriztük, hogy valóban meg tudja-e különböztetni az eljárás a kép többi részétől, továbbá a felismerés helyesen azonosítja-e a tábla tartalmát. Mivel a felismert táblák bekerülnek az adatbázisba, ezért az adatbázis tanulmányozásán keresztül a felismerés vizsgálható. A táblák mellett a táblaoszlopok szintén lényegesnek ítélt elemek, mivel a későbbiekben azt várjuk, hogy a koordinátával adott táblák henger alakú tartóoszlopai megfelelő beazonosítás után a műholdas helymeghatározástól függetlenül lokalizációs célokra alkalmazható lesz. Ekkor az oszlopok helyjelölő (localization landmark) szerepet töltenek be, azaz az önvezetés felé felértékelődnek a helyinformációi. Hasonlóképp fontos a burkolati jelek azonosítása és értelmezése, mivel a korábbi tanulmányaink során arra az eredményre jutottunk, hogy a tökéletes térképi adatbázis minden közlekedési szabály betartásával csak úgy hozható létre, ha a burkolati jelek és táblák együttesen szerepelnek a térképezésben. Eszerint a megfontolás szerint ezért a burkolati jelek felismerését is tesztelni szükséges.
A tesztelés elvégzéséhez a munkahelyünk, a BME kampuszának környezetét választottuk tanulmányterületnek, ahol felvételeket készítettünk és a rendszerbe töltöttünk fel, majd a saját és a korábbi feltöltések alapján nyert adatbázistartalmat értékeltük. Mivel a budapesti terület erősen feltöltött volt, ezért az így bevitt képek alapján kiegészítő információk jelennek meg a térképen, amivel szemben korábban még nem térképezett terület szolgálhat remek kísérleti helyszínül. Ezt az elképzelést hallgatóink bevonásával a fővároson kívüli tesztterületeken (Csepel, Monor és Nyíregyháza) validáltuk.
Eredmények
A tesztek első végrehajtása a képi adatok gyűjtése volt. A BME területéhez közeli tesztmezőn séta közben kézből mobiltelefonos felvételeket rögzítettünk, majd azokat töltöttük fel a rendszerbe. A fővároson kívüli mintaterületeken autós fedélzeti kamerával gyűjtöttünk adatot, mégpedig úgy, hogy a Mapillary cég által biztosított ingyenes telefonrögzítővel erősítettük a mobiltelefonokat az autó szélvédője mögé
és jártuk be a korábban kikeresett új terület útjait. A cég által rendelkezésre bocsátott applikáció állóképek sorozatát készítette el. Ekkor a képekhez a helymeghatározó rendszer adatai kiegészítésként hozzárendelődnek („geotag-gelés”), ami a későbbi feldolgozást egyszerűsítette le (1. ábra).
Videó rögzítésével is megpróbáltunk a rendszerbe adatot felvinni. Ehhez azonban a Mapillary által elérhetővé tett számítógépes alkalmazásra (Desktop Uploader vagy Mapillary Tools) volt szükség, ami a videó adatfolyamból különálló képkockákat vágott ki. A videós rögzítés azonban nem tartalmazott hely adatokat, így a feltöltés sokkal komplikáltabb lett: vagy kézzel kell megadni a képek helyét, vagy egy függetlenül egyidejűleg futtatott adatrögzítéssel (esetünkben AndroSensor) lehetséges a helyadatok archiválása is, majd megfelelő módon ezen információk is feltölthetők.
A képek szegmentálása összetartozó elemekből álló mezőkre bontja a felvételeket, majd az egyes mezőket felelteti meg az egyes objektumoknak. A szegmentálás önmagában nem vizsgálható, mivel a feltöltött képre azonnal lefut a felismerési eljárás is és a mezőkhöz az azonosítás eredményét is hozzáírja (2. ábra).
A szegmentálás olyan kategóriákat vezet be, mint épület, autó, kerítés, akna, személy, oszlop, járda, úttest stb.
A szegmentálással felbontott régiók immár alkalmasak arra, hogy a mesterséges intelligencia bevonásával elvégezhesse a rendszer az objektumfelismerést, esetünkben a táblák beazonosítását. Ezt utána úgy jelzi ki, hogy a képre a tábla KRESZ-ikonját rajzolja a régió mellé, így egyszerűen ellenőrizhetővé válik. A 3. ábrán látható, hogy a BME kampusza mellett milyen számban találta meg az algoritmus a táblákat, melyek a helyesen és a hibásan felismertek, továbbá hol vannak azok a helyek, amelyeket tévesen táblának vél, illetve hol maradnak el felismerések.
Miután a mintaterület összes felvétele kiértékelésre került, a regisztrált objektumok bekerülnek a Mapillary adatbázisába. Ebből az adatbázisból lehet aztán lekérdezéseket végezni (4. ábra).
1. ábra Saját kamerával gyűjtött képek feltöltése
2. ábra A szegmentáláskor megkülönböztetett képrégiók és a hozzájuk rendelhető objektumkategóriák
3. ábra Objektumfelismerés után jelzett táblák. Jelmagyarázat: helyes felismerés (1), téves felismerés (2), nem felismert (3), táblának ismert fel hibásan (4)
4. ábra Térképi adatbázis a felismert tábla-objektumokkal
Összefoglalás
A Mapillary rendszer által kínált lehetőségek megismerésével olyan térképi adatbázist létrehozni kívánó technológiával ismerkedtünk meg, amely ötvözi a közösségi adatnyerés, a mesterséges intelligencia, majd ismételten a közösségi munkavégzés (mint ellenőrzés) előnyös vonásait. A rendszer számára kézből és autó szélvédőjére erősített mobiltelefonnal képeket rögzítettünk, majd ezeknek a felvételeknek a feltöltésével és a beépített algoritmusok kiértékelésével a közúti közlekedés számára fontos jelzőtábla és burkolati információkat lehetett kinyerni. A nagyszámú felhasználó által feltöltött képek gyors és nagypontosságú kiértékelését a mesterséges intelligencia bevonásával meg lehet valósítani. Igaz, ennek a technológiának a tévedései is bekerülnek az adatbázisba, de a manuális validáció folyamán lehetőséget kapunk arra, hogy a tévesen felismert közlekedési tábla minősítését jelezzük. A – feltételezhetően több – felhasználói jelzés után a tábla módosítása gyorsan megtörténhet.
A szegmentálás lépésében homogén régiókra bontott fedélzeti képek egyelőre a táblákra és néhány további objektumra, mint burkolatszél, felfestés koncentrál, de a felismerésért „felelős” mesterséges intelligencia cseréjével, további tanításával megvan a technológiai lehetőség arra, hogy újabb térképezendő elemek rendkívül nagy hatásfokú azonosítása és térképi adatbázisba töltése történhet meg.
A szerzők további szubjektív véleménye szerint a módszertan alkalmazható akár közvetlenül a jármű fedélzetén is, azaz a képek elkészítése, majd azok továbbítása a felhőben futó algoritmus felé és a kapott eredmény térképi adatbázisba
5. ábra Verifikációs eszköz és egy téves felismerés
Az adatbázis tartalma azonban nem tekinthető javíthatatlannak, mivel a rendszer fejlesztői kiváló manuális, kifejezetten közösségi alapú validálást építettek be.
(‘Verifier tool – Mapillary’, 2019) Az ellenőrzésnél tetszőleges számban csatlakozhatnak a felhasználók a projektekben kiértékelt felvételek tesztelésére és tehetnek jeleket az elfogadás vagy az elvetés mellett.
A vázolt munkamenet végered-ményében ezért egy ellenőrzött, teljesen képeken és azok mesterséges intelligencia felhasználásával végrehajtott kiértékelésén és a közösségi ellenőrzésen alapuló adatbázist állít elő a Mapillary. Ezt az adatbázist a későbbiekben térinformatikai formátumban, például shape-ekként lehet letölteni és alkalmazni.
töltése elképzelhető nagyon kicsi késleltetéssel. A több felhasználó által így elvégzett terepi adatgyűjtés eredményeként a felismerések ellenőrizhetők, esetlegesen a téves azonosítások kiszűrhetők és eltávolíthatók, vagy akár a térképi adatbázis folyamatos karbantartása is megoldható.
Köszönetnyilvánítás
A tanulmány alapjául szolgáló kutatást az Emberi Erőforrások Minisztériuma által meghirdetett Felsőoktatási Intézményi Kiválósági Program támogatta, a Budapesti Műszaki és Gazdaságtudományi Egyetem Mesterséges Intelligencia (BME FIKP-MI/FM) tématerületi programja keretében.
A kutatást támogatta az Európai Unió finanszírozásával az EFOP-3.6.3-VEKOP-16-2017-00001 program.
A következő MSc-s hallgatóinknak szeretnénk köszönetet mondani, akik ITS GIS kurzusunkon a Mapillary rendszert további tesztelésnek vetették alá: Duka Szilárd, Horváth Viktor Győző, Hrutka Bence Péter, Nagy Nándor Antal, Papp Viktor.
Felhasznált irodalom
[Internet] About | Mapillary (2019) [Internet] Mapillary – Terms of Use. (2019) [Internet] Verifier tool – Mapillary (2019)
Li, J. – Raventos, A. – Bhargava, A.– Tagawa, T. – Gaidon, A. (2019): Learning to Fuse Things and Stuff. arxiv.org.