Berke József1 – Enyedi Attila2 – Vastag Viktória3 – Óbermayer Tamás3 – Kozma-Bognár Veronika4
1 főiskolai tanár, Gábor Dénes Főiskola, berke@gdf.hu
2 informatikai munkatárs, Gábor Dénes Főiskola
3 hallgató, Gábor Dénes Főiskola
4 alelnök, Neumann János Számítógép-tudományi Társaság, MMO Szakosztály
Bevezetés
Az önrepülő légi eszközök elterjedésével egyre több olyan kis méretű képérzékelő rendszer került piacra, melyek az egyszerű kezelhetőség és az elterjedt légi eszközökre történő rögzítés mellett képesek a látható és a közeli infravörös tartományú képi adatok érzékelésére. A legtöbb esetben ezen kamerákhoz egy egyedi feldolgozó programrendszer is társul, melyek általában képesek alapvető indexek számítására a képek között végzett algebrai műveletekkel.
A normalizált vegetációs index (Normalized Difference Vegetation Index, NDVI) olyan [-1, ..., +1] közötti racionális szám, amely egy adott területen lévő vegetáció/nem vegetáció meglétét vagy hiányát mutatja. Vegetáció esetén továbbá jellemző annak állapotára és fotoszintetikus aktivitására is. Értékét a növényzet által a közeli infravörös (NIR) és a látható vörös (RED) spektrális tartományában visszavert (radiometriailag korrigált) intenzitások különbségének és összegének hányadosa adja (1).
(1) A NDVI-index erősen korrelál a területet borító növényzet fajlagos klorofilltartalmával. Az egyik legkorábbi matematikai összefüggés az
NDVI-Abstract: With the spread of UAV aerial devices, more and more small image sensing systems have been introduced that can be used to detect visible and near-infrared image data with ease of handling and widespread aerial devices. In most cases, these cameras are also associated with a unique software system that is generally able to compute basic indices such as NDVI. The Normalized Difference Vegetation Index has been applied to research the exist and the conditions of the vegetation for several decads. Before the classification of the NDVI, the images of the sensors are concerted to different image form. To create the output images these imaging algorithms use different interpolation methods which causes significant influence on the results of the image processing. During our last research we have been investigated the effects of nine imaging algorithms on NDVI index based on multitemporal aerial photographs.
indexre Kriegler és munkatársai által született (Kriegler et al. 1969). A gyakorlati alkalmazással kapcsolatos első publikáció a vegetáció vizsgálatára jóval később, 1974-ben jelent csak meg (Rouse et al. 1974), melyben jelentős előrelépést jelentett a Landsat erőforrás-kutató műhold képeinek megjelenése. Mindez jelentősen rányomta a bélyegét az NDVI-indexre, hiszen elsősorban Landsat felvételek feldolgozása alapján terjedt el.
A digitális kamerák azonban átlagosan képpontonként 10–16 bit információt tárolnak csatornánként. Az NDVI-értékeket számító programok viszont 8 bites képeken végzik a számításokat. Mindez azt jelenti, hogy az érzékelőből történő kiolvasás után, de még a feldolgozás előtt, 16g8 bites adatkonverzió történik. Ez adatvesztéssel jár, és a legtöbb esetben nem ismert pontosan a konverzió algoritmusa.
A konverziót elvégezheti a felvevőeszköz vagy bármilyen segédprogram is.
Amennyiben nem, vagy hiányosan ismert a konverzió pontos menete, az eredmény nem megbízható. Példaként említjük, hogy az Adobe Photoshop programban van lehetőség 16 bites tiff-képet menteni nyers, raw-kamerafájlból, de ennek a képnek a feldolgozására nem áll rendelkezésre megfelelő NDVI-mérőszoftver, mivel a konverzió részletei nem nyilvánosak.
Az (1) egyenlettel definiált vegetációs index a mezőgazdasági és természetvédelmi gyakorlatban elfogadott. Értékét tekintve a nullához közeli érték a növényzet hiányát, illetve kóros elváltozását, a 0,2 és 0,3 körüli értékek ritka növényzetet (pl. füves, bokros területet) jelentenek, míg a 0,8–1,0 értékek sűrű, zöld színű és egészséges növényzetre utalhatnak. A negatív NDVI-értékek pedig nem növényi vegetáció (víz, kő, szikla, aszfalt, háztető stb.) jelenlétét feltételezik. Értelmezésükhöz mindenképp szükséges a felvételeken lévő referenciaadatok használata, valamint szükség esetén a látható tartományú képek vizuális interpretációja is.
Kvantumbiológiai alapfogalmak
A legújabb kutatások (Al-Khalili J. – McFadden J. 2016) alátámasztották, hogy a növényi levelekben lévő klorofillban található kloroplasztisz pigmentmolekulája – a fotoszintézis folyamatának első lépésében – elnyel egy látható tartományú (400–700 nm) fotont, és létrejön az ún. exciton. Az így kialakuló rezgő exciton (pl. Mg atom héjáról kilökött elektronból és az általa hátrahagyott lyukból felépülő kvantumkoherens rendszer) instabil, de tárolja az elnyelt foton energiáját. A növény szeretné hasznosítani ezt az energiát, így eljuttatja az excitont a reakcióközpontba, ahol töltésszétválasztás következtében az energia az NADPH nevű kémiai akkumulátorban kerül tárolásra, amely már stabil, és lehetővé teszi a napsugárzásból kinyert energia további hosszútávú felhasználását (Engel et al.
2007). A kvantummechanikai folyamatnak köszönhetően a fotoszintézis nagyon jó hatásfokkal alakítja át a látható tartományú fotonok energiáját, ugyanakkor – a levelek sejtfelépítésének köszönhetően – a közeli infravörös tartományú (700–1100 nm) fotonokkal ezt kevésbé tudja megtenni. Így a klorofillban gazdag vegetáció
reflexiós képessége jelentős eltérést mutat a két elektromágneses tartományban, mivel a látható tartományban főként elnyel, a közeli infravörösben inkább visszaver.
Ugyanakkor a vegetáció kóros elváltozása esetén ez a reflexiós arány jelentősen megváltozik. Mindezek kiválóan érzékelhetők a fotoszintetizáló vegetációról készült NDVI-felvételeken. A fentiek alapján egyértelmű, hogy az (1) összefüggés nem csak a fotoszintézisre, hanem egyéb – nem csak biológiai – folyamatokra is szolgálhat információval.
Alkalmazott légifelvételek
A mérésekhez használt légifelvételek 2014.07.17., 2015.08.26., 2016.06.14.
és 2017.08.11. időpontokban készültek (1. ábra). A kutatások helyszíneként a Kis-Balaton természetvédelmi területen található Zimányi-sziget szolgált, ahol több alkalommal végeztünk pilóta nélküli drónnal és hagyományos módon történő felvételezéseket. A mérésekhez Canon típusú átalakított NDVI-kamerát használtunk.
Az osztályozást befolyásoló algoritmusok vizsgálatára nem a teljes sziget területét lefedő felvételt választottuk ki, hanem a sziget egyik jellemző területének pontos vizsgálata mellett döntöttünk (1. ábra kerettel jelölve). Az NDVI-osztályozásra az interpolációs eljárással előállított kimenő felvételeken összesen a klasszikus 20 osztály került azonosításra.
1. ábra A vizsgálatok alapját képező multitemporális légi felvételek (kerettel jelölve a szűkebb vizsgálati területet)
Interpolációs eljárások vizsgálata
Az interpoláció egy, esetleg több ismeretlen adat értékét határozza meg a már ismert információk alapján. Az egyérzékelős színinterpolációs algoritmusokat (Bayer B. E. 1976; Parulski K. A. 1985; Cok D. R. 1986; Ozawa N. 1987; Weldy J. A. 1988; Laroche C. A. 1994; Adams J. E. 1995; Chen T. 1999) két csoportra bonthatjuk: nem adaptív és adaptív algoritmusok. A nem adaptív algoritmusok rögzített pixelminta alapján végzik el az interpolációt, ami miatt pixelesedés figyelhető meg az élek mentén. Míg az adaptív algoritmusok a vizsgált pixel helyét, valamint a környezetében levő pixelek értékét is figyelembe veszik, majd ennek függvényében döntenek az interpolált értékekről. Ezek az algoritmusok kifinomultabb eredményt adnak. Az interpolációs eljárásokról részletes, mérésekre épülő összefoglaló elemzés a Berke et al. 2016 és az Enyedi et al. 2018 munkákban található.
A Zimányi-szigetről készített NDVI légi felvételek elemezése során kilenc különböző algoritmus végeredményre gyakorolt hatását vizsgáltuk. Az NDVI-index számításához saját fejlesztésű szoftvert alkalmaztunk. A szoftver tesztelése során az alábbi algoritmusok befolyásoló hatását vizsgáltuk (Kozma-Bognár et al. 2016):
1. Legközelebbi szomszéd alapú interpoláció (Nearest Neighbour), 2. Bilineáris interpoláció (Bilinear),
3. Lineáris interpoláció Laplace-féle másodrendű korrekcióval I. (Laplace I.), 4. Lineáris interpoláció Laplace-féle másodrendű korrekcióval II. (Laplace II.), 5. Smooth Hue Transition interpoláció (Smooth Hue),
6. Smooth Hue Transition interpoláció logaritmikus expozíciós térben (Smooth Hue Log),
7. Él-érzékeny interpolációs algoritmus I. (Edge Sensitive I.), 8. Él-érzékeny interpolációs algoritmus II. (Edge Sensitive II.), 9. Küszöbérték alapú interpoláció (Threshold-based).
Az NDVI-felvételek osztályozására saját fejlesztésű mérőprogramot: az NDVI16 mérőprogramot alkalmaztuk, melynek célja, hogy tiff formátumú NDVI-kamerával készült képekből veszteség nélkül nyerjen ki és dolgozzon fel adatokat.
Az egyes képpontokból kiolvasott red, green és blue színcsatornák (RGB) adatai alapján el lehet végezni az NDVI-index számítását, vagyis a vizsgált területen taláható-e növényi vegetáció, valamint az ott jelen lévő vegetációra milyen egészségi állapot jellemző. Ehhez a szoftver egy átalakított képletet használ (2), amely a közeli infravörös és a látható vörös értékek helyett a három színcsatorna értékeit veszi alapul. Az így kapott érték egy [0, …, +65536] közé eső egész szám.
(2) A számítás során kapott érték egy racionális szám, amely minden esetben –1 és +1 közé esik és jellemző a vegetációra. Ez az érték további feldolgozásra kerül, amely során egy skálázott NDVI-értéket kapunk.
Amennyiben a kapott NDVI-érték nagyobb mint 0, a következő összefüggést alkalmazzuk:
(3) Amennyiben a kapott NDVI-érték kisebb, mint 0, az alábbi függvénnyel számolunk:
(4) A program a számítások elvégzése után a – klasszikus 8 bites eljárásnak megfelelően – 20 osztályba sorolja a képpontértékeket. Az osztályok [-1, ..., +1] közé esnek egytizedes lépésközökkel. Az így kapott csoportosítás alapján meghatározható, hogy milyen arányban található egészséges vegetáció az adott légi felvételen.
Eredmények
Az NDVI légi felvételek elemzésének eredményeként, a kilenc algoritmus alkalmazását követően elkészített osztályozás eredményeit foglalja össze – az eredeti méretű kép elemzése esetén – a 2. ábra.
A 2. ábrán látható, hogy az egyes algoritmusok hatása egy-egy kategórián belül két nagy csoportra bontható (mindez igaz a teljes idősoros képekre). Az egyik csoportot a Smooth Hue, Smooth Hue Log és Edge Sensitive I. algoritmusok képezik, míg a másikat a fennmaradó további hat (Nearest Neighbour, Bilinear, Laplace I., Laplace II., Edge Sensitive II., Threshold-based) algoritmus. Ezen két alapvető csoportosítást a Berke J. et al. 2016; Berke et al. 2017 által közölt tanulmányok és a jelenlegi eredmények is alátámasztják. Megállapítható, hogy csoportonként jelentős eltérés mutatkozik – mind a négy év tekintetében – a program által számított, a bevezetésben ismertetett értékek alapján összevont négy alapvető NDVI-kategória (Zöld vegetáció, Vegetáció kóros elváltozás, Ritka növényzet és Nem vegetáció) tekintetében.
2. ábra NDVI-kategóriák értékei a vizsgált képalkotó algoritmusok függvényében
A továbbiakban az eltéréseket a három, illetve a hat algoritmus által alkotott csoportokon belül nézzük, ezen csoportok közül is leginkább a hat algoritmus által alkotott csoportot vizsgáljuk a Zöld vegetáció szempontjából (3. ábra). Mindezt az is indokolja, hogy a jelenlegi gyakorlatban alkalmazott Bayer-alapú képalkotó érzékelők által használt algoritmusok – a CMOS-érzékelők erősítési zajait tekintve – leginkább Threshold alapúak.
A 3. ábrán az általunk elkülönített két képalkotó algoritmuscsoport átlagtól való eltérése 0,09% (3-as csoport) és 3,73% (6-os csoport), ami nem tekinthető jelentősnek. A csoportok közötti átlagok eltérése (25,81%) azonban igen.
A korábbi (Berke et al. 2016; Berke et al. 2017) vizsgálatainkat követve a terepi referenciák felvétele során három kategória (vegetáció, fa/bokor és nem vegetáció) került megállapításra – 4. ábra. Megállapítható, hogy az 1. ábrán kerettel jelzett területen a „Fa/Bokor” kategória szinte azonos területű mindegyik évben. A
„nem vegetáció” kategória, amely elsősorban a vizet tartalmazza, ugyan változik a 3.ábra A Zimányi-szigeten található „Zöld vegetáció” NDVI-kategória algoritmusoktól való
függése
4. ábra A Zimányi-szigeten felvett terepi referenciák három kategória szerinti eloszlása évenként
5. ábra A Zimányi-szigeten felvett terepi referenciák összehasonlítása Neural Network alapú osztályozással a három kategória alapján (a szürke oszlopok értékei a pontos adatok) képkivágás szerint, viszont manuális elkülönítése teljesen egyértelmű, így teljesen pontos adatnak tekinthető.
Végezetül az 5. ábrán bemutatjuk egy Neural Network alapú osztályozással, valamint a terepen mért referenciák alapján elkülönített három kategória átlagos százalékos eloszlását a teljes idősor felvételei alapján. Egyértelműen megállapítható, hogy a Neural Network átlagos találati pontossága jelentősen eltér a valós adatoktól, amely elsősorban a képalkotó algoritmusok hatása.
Összefoglaló
A kutatásaink alapján egyértelműen megállapítható, hogy a jelenleg gyakorlatban leginkább alkalmazott 9 képalkotó algoritmus használata jelentősen befolyásolja a Neural Network alapú osztályozott kép eredményét az NDVI-felvételek esetében is. Az NDVI-index számítására létrehozott saját fejlesztésű osztályozó szoftver eredménye számottevő eltéréseket mutatott az egyes algoritmusok futtatását követően. Eredményeink figyelembevétele mellett mindenképpen javasoljuk – a légi felvételek osztályozását megelőzően – az adott képalkotó rendszerbe beépített interpolációs eljárások vizsgálatát, és az adott kutatási célnak leginkább megfelelő, megbízható eredményt adó algoritmus kiválasztását.
Felhasznált irodalom
Adams, J. E. (1995): Interactions between color plane interpolation and other image processing functions in electronic photography. Proceedings of SPIE 2416, pp.144–151.
Al-Khalili, J. – McFadden, J. (2016): Az élet kódja (Life on the Edge – The Coming of Age of Quantum Biology, Bantam Press). Libri Kiadó, ISBN: 978-963-310-615-0, Budapest.
Bayer, B. E. (1976): Color imaging array. U.S. Patent 3,971,065.
Berke D. – Ocskai Zs. – Major K. – Enyedi A. – Berke J. (2016): Digitális képalkotó algoritmusok összehasonlító elemzése képszerkezet és entrópia alapján. Eighth Hungarian Conference on Computer Graphics and Geometry, Budapest, 2016. március 30–31., pp.192–199.
Berke J. – Báldgohi T. – Major K. – Kozma-Bognár V. (2017): Képalkotó algoritmusok NDVI indexre gyakorolt hatása. VIII. Térinformatikai Konferencia és Szakkiállítás, Debrecen, ISBN 978-963-318-638-1.
Berke J. – Enyedi A. – Berke D. – Ocskai Zs. – Major K. (2016): Nagyfelbontású légifelvételek képalkotó eljárásainak összehasonlító elemzése. VII. Térinformatikai Konferencia és Szakkiállítás, Debrecen; 26/05/2016, pp. 83–90.
Chen, T. (1999): A Study of Spatial Color Interpolation Algorithms for Single-Detector Digital Cameras, Psych221/EE362 Course Project, Information System Laboratory, Department of Electrical Engineering, Stanford University.
Cok, D. R. (1986): Single-chip electronic color camera with color-dependent birefringent optical spatial frequency filter and red and blue signal interpolating circuit. U.S. Patent 4,605,956.
Engel, G. S. – Calhoun, T. R. – Read, E. L. – Ahn, T-K. – ManCal, T. – Cheng, Y-C. – Blankenship, R. E. – Fleming, G. R. (2007): Evidence for wavelike energy transfer through quantum coherence in photosynthetic systems. Nature, 446, pp. 782–786.
Enyedi A. – Ocskai Zs. – Berke D. – Báldoghi T. – Óbermajer T. – Major K. – Berke J.
(2018): Bayer-alapú érzékelők képalkotó algoritmusainak adatfeldolgozásra gyakorolt hatása. Eighth Hungarian Conference on Computer Graphics and Geometry, Budapest, 2018. március 21–22.
Kozma-Bognár V. – Magyary V. – Berke J. (2016): Ultranagy felbontású légi felvételek multitemporális elemzése. VII. Térinformatikai Konferencia és Szakkiállítás, Debrecen; 26/05/2016, pp. 271–277, ISBN 978-963-318-570-4, DOI: 10.13140/
RG.2.1.3711.7044.
Kriegler, F.J. – Malila, W.A. – Nalepka, R.F. – Richardson W. (1969): Preprocessing transformations and their effects on multispectral recognition. Proceedings of the Sixth International Symposium on Remote Sensing of Environment, pp. 97–131.
Laroche ,C. A. (1994): Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients. U.S. Patent 5,373,322.
Libtiff függvénykönyvtár: http://www.libtiff.org/
Measuring Vegetation: http://earthobservatory.nasa.gov/Features/MeasuringVegetation/
measuring_vegetation_2.php.
Ozawa, N. (1987): Chrominance signal interpolation device for a color camera, U.S. Patent 4,716,455.
Parulski, K. A. (1985): Color Filters and Processing Alternatives for one-chip cameras. IEEE Transactions on Electron Devices, ED–32, No. 8.
Rouse, J.W. – Haas, R.H. – Scheel, J.A. – Deering, D.W. (1974): Monitoring Vegetation Systems in the Great Plains with ERTS. Proceedings, 3rd Earth Resource Technology Satellite (ERTS) Symposium, 1, pp. 309–317.
Weldy, J. A. (1988): Optimized design for a single-sensor color electronic camera system.
Proceedings of SPIE, 1071 pp. 300–307.