Képregisztráció

(1)

KÉPREGISZTRÁCIÓ

BEVEZETÉS, ÁTTEKINTÉS

Tanács Attila

Képfeldolgozás és Számítógépes Grafika Tanszék Szegedi Tudományegyetem

A tananyag az EFOP-3.5.1-16-2017-00004 pályázat támogatásával készült.

(2)

Elektronikus anyagok

• Az előadás anyagához gyakorlati

elektronikus jegyzet és példaprogram gyűjtemény is tartozik

– Gyakorlati jegyzet elérhető az alábbi webcímen

• http://www.inf.u-szeged.hu/~tanacs/kepreg/index.html

– Példaprogram gyűjtemény elérhetősége

• http://www.inf.u-

szeged.hu/~tanacs/kepreg/KepregisztracioGyakPeldatar.zip

• Az előadás anyag legfrissebb változata is

elérető a gyakorlati jegyzet címlapjáról

(3)

Képregisztráció

Alapfeladat:

Különböző időpontban/módon készült képek geometriai viszonyának meghatározása.

Elnevezések:

• Képregisztráció (image registration)

– Geometriai viszony meghatározása (transzformáció)

• Képillesztés (image matching)

– Geometriai transzformáció alkalmazása, új kép születik

• Képfúzió (image fusion)

– Új, egyesített kép készítése az átfedő illesztett képekből

(4)

Geometriai transzformációk

Ugyanazon objektum geometriailag

különböző megfigyelései.

(5)

3D orvosi képek

Vörös színskála: MRI vizsgálat (szövetek) Zöld színskála: PET vizsgálat (agyi működés) Regisztráció nélkül használhatatlan!

(6)

3D orvosi képek

Regisztráció eredménye: az egymásnak megfelelő agyi struktúrák és működési információjuk fedésbe kerül.

(7)

3D orvosi képek

Képfúzió: a két kép súlyozott összeadásának megjelenítése forró fém színskálán. A magas intenzitású területek fehéres színben

jelennek meg.

(8)

Forrás: Vision Research Lab, UCSB https://vision.ece.ucsb.edu/

Képmozaikolás

(9)

(10)

Képmozaikolás

(11)

Esőerdők területének csökkenése

1992 1994

Különböző időpontokban készített légi felvételek elemzéséhez.

(12)

Esőerdők területének csökkenése

Könnyebb megtalálni, mi változott?

Hatalmas mennyiségű képi adat!

(13)

Panorámakép

Forrás: A.A. Goshtasby

Kamerák szűk látómezőjéből

kimaradó részletek kompenzálására.

Több, átfedő képrészlet között

megfeleltetések keresése, és a képek összefűzése.

(14)

Panorámakép

Összefűzött eredmény.

Ma már jellemzően az okostelefonok kamera szoftverei is biztosítanak ilyen lehetőséget.

Forrás: A.A. Goshtasby

(15)

Regisztráció (Általános)

Cél

Azonos vagy különböző forrásokból származó geometriai információtartalmak egyesítése.

– Képek,

– objektumok 2D, 3D modelljei, – térbeli pozíciók.

Alkalmazások

– Változások detektálása, mérése.

– Kiegészítő képtartalmak egyesítése.

– Fizikai tér és kép koordináta-rendszerek közötti átjárás biztosítása.

(16)

Műtéttervezés és végrehajtás

• Modell - Modalitás • Modalitás - Páciens

Forrás: Prostate biopsy project, Johns Hopkins University, Baltimore, MD, USA

Átjárás biztosítása a képi és a műtő fizikai koordináta-rendszerei között. Képi vezérlésű műtét tervezést és végrehajtást biztosít.

(17)

Képalkotó berendezések

Digitális 2D, 3D képek Követő, távolságmérő

berendezések Geometriai leírás Fizikai eszközök

Képalkotás

Képjellemzők kinyerése Követés

Mérés

Modell- alkotás

(18)

Regisztrációs alapfeladatok

• A bemeneti adathalmaz képi vagy geometriai jellegű lehet.

• 2- vagy 3D digitális képen egy véges méretű digitális rácsot értünk, amely rácspontjaiban találhatók a képpontok. Ezek egy diszkrét, mintavételezett mérési eredményt: színt vagy intenzitásértéket tartalmaznak. Ezek lehetnek hagyományos fotók, vagy 2D/3D orvosi képalkotó technikák.

• A regisztráció előtt egy előfeldolgozási lépésben változtathatunk a képeken, például zajt szűrhetünk, képkiemelő technikákat alkalmazhatunk.

• Geometriai jellegű adatot szolgáltatnak a különböző követő (tracker) eszközök, vagy lézeres távolságmérők.

• Geometriai jellemzőket (pontokat, kontúrokat, felszíneket) kinyerhetünk a digitális képekből is képfeldolgozási módszerekkel,

• valamint ismert felépítésű fizikai eszközök geometriai modelljét is el tudjuk készíteni.

• Ezek alapján többféle regisztrációs feladat felmerül.

(19)

Alkalmazási területek

• Számítógépes látás és alakfelismerés

– képek szegmentálása, alakzatok felismerése, mozgáselemzés, (sztereó) alakrekonstrukció

• Orvosi képfeldolgozás

– diagnosztika, műtéttervezés és -végrehajtás,

mikroszkópikus képek osztályozása, daganatok lokalizálása

• Légi- és műholdfelvételek feldolgozása

– geológia, nyersanyag-lelőhelyek felkutatása,

urbanisztika, célmeghatározás, célazonosítás

(20)

Félévi tematika áttekintése

• Regisztrációs probléma

– Alapfogalmak, csoportosítások, történeti áttekintés

• Képalkotó technikák, képek geometriája, fájlformátumok

– Fénykép, Röntgen, Ultrahang, MR, CT, PET, SPECT – 2D és 3D geometria, DICOM formátum

• Képmegjelenítés, képfúzió

• Geometriai transzformációk és végrehajtásuk

– Lineáris és nemlineáris transzformációk megadási módjai – Interpolációs módszerek digitális képek esetén

• Pontpárokon alapuló regisztráció

– Illesztő módszerek, hibaanalízisük

• Pontfelhők illesztése, felszínillesztés

– Klasszikus módszerek, jellemzőik

• Képpontok hasonlóságán alapuló regisztráció

– Hasonlósági mértékek, sablonillesztés, kiértékelés

• Nemlineáris regisztráció

• Orvosi alkalmazások, műtéttervezés és végrehajtás

• Megfeleltetés sztereó fotók között

(21)

A regisztráció fő komponensei

• Jellemzők tere

Milyen adatokat használunk a kereséshez?

– Geometriai: pontok, élek, kontúrok, felszínek.

– Képek intenzitásértékei.

• Keresés tere

A geometriai transzformáció típusa.

– Lineáris: merev-test, hasonlósági, affin, perspektív.

– Nemlineáris: polinomiális, spline-alapú, fizikai modell-alapú, stb.

• Hasonlóság mértéke

Az adathalmazaink mennyire hasonlóak.

– Geometriai jellemzők közötti távolság.

– Képpontok közötti hasonlóság.

• Keresési stratégia

Hogyan találjuk meg az optimális illesztő paramétereket?

– Direkt, közvetlen megoldás – Iteratív keresés

(22)

Keresési tér

eredeti kép merev-test

transzformáció

2D: 3 paraméter 3D: 6 paraméter

affin

transzformáció

2D: 6 paraméter 3D: 12 paraméter

nemlineáris transzformáció

2D,3D: paraméterek száma tetszőlegesen nagy lehet.

(23)

Képjellemzők tere

• Cél:

– Adatmennyiség csökkentése.

– Releváns jellemzők kinyerése.

• Jellemzők:

– Geometriai (pl. pontok, élek, felszínek).

– Intenzitások (pl. a teljes kép).

(24)

Hasonlósági mérték

• Geometriai jellemzők esetén

– Távolság mértékek (pl. Euklideszi távolság minimalizálása).

• Képpontintenzitáson alapuló

– Intenzitáskülönbségen alapuló (pl. intenzitáskülönbségek

abszolút/négyzetes összege, különbségkép előjelváltásainak száma).

– Korreláció-alapú (kereszt-korreláció, korrelációs koefficiens).

– Intenzitások együttes előfordulási mátrixán alapuló (együttes entrópia, kölcsönös információtartalom).

(25)

Hasonlósági mérték

• Példa: 1D hasonlósági mérték

Hasonlósági mérték

X-tengely menti eltolás Jó: nincs lokális optimum, globális jó

helyen.

X-tengely menti eltolás Nehézkes: sok lokális optimum, de globális jó

helyen.

X-tengely menti eltolás Rossz: globális optimum rossz

helyen.

Eltolás iránya.

(26)

Keresési stratégia

• direkt módszer

• „durvától a finomig” (coarse to fine)

• többfelbontású (multiresolution) piramis

• dinamikus programozási technikák

• relaxációs módszerek

• heurisztikus keresés

(27)

Képregisztráció menete

I₁ F₁

I₂ F₂

Képjellemzők kinyerése

T

T(I₂) I₃

Geometriai transzformáció meghatározása (regisztráció) A transzformáció alkalmazása (képillesztés)

Képfúzió

(28)

Összefoglaló publikációk

• Általános összefoglaló

– Brown, L.G.: A survey of image registration techniques.

ACM Computing Surveys 24 (1992) 325-376

– Goshtasby, A.A.: 2-D and 3-D Image Registration: for Medical, Remote Sensing, and Industrial Applications. Wiley, 2005.

– Zitová, B., Flusser, J.: Image registration methods: a survey. Image and Vision Computing, 21(11):977-1000, 2003.

– Czúni László, Tanács Attila: Képi információ mérése, Typotex Kiadó, 2011.

– J. Modesitzki. Numerical Methods for Image Registration. Oxford university Press, 2004.

• Orvosi témában

– Maintz, J.B.A., Viergever, M.A.: A survey of medical image registration.

Medical Image Analysis 2 (1998) 1-36

– Studholme, C.: Measures of 3D Medical Image Alignment. PhD Thesis, University of London (1997)

– Hajnal, J.V., Hill, D.L.G., Hawkes, D.J. (eds.): Medical Image Registration.

CRC Press (2001)

• Internet

– http://vision.ece.ucsb.edu/registration/imreg/

– http://www.imgfsr.com/

(29)

Képek közötti különbözőségek típusai

• Térbeli eltérés

– A képek más nézőpontból készültek. A megfelelő geometriai trafó ezt korrigálja.

• A felvételek készítésének körülményei mások

– Pl. mások a légköri vagy fényviszonyok műholdképek esetén, vagy más képalkotó berendezéssel készültek a képek. Ezeket nehéz modellezni.

• A képeken az objektumok változnak

– Pl. objektumok mérete nő/csökken. A regisztráció célja általában ezeknek a változásoknak a detektálása. Ezeket nem szabad

eltüntetni a transzformáció során!

• A fentiek kombinációi

(30)

Regisztráció típusai (I) Multimodális regisztráció

• Ok:

Különböző képalkotó berendezésekkel készültek a képek.

• Cél:

Információ egyesítése a további feldolgozás megkönnyítésére, pl.

szegmentációhoz, pixel osztályozáshoz.

• Példák:

– Orvosi képfeldolgozás: az egymást kiegészítő anatómiai és funkcionális képtartalmak a diagnózist megkönnyítik.

– Távérzékelés: műholdképeknél más elektromágneses csatornákból

(mikrohullám, radar, infravörös, légi felvétel, többspektrumos) származó képek integrálása megkönnyíti az épületek, utak, járművek, növényzet osztályozását.

(31)

Regisztráció típusai (II)

Sablon (template) regisztráció

• Ok:

Modell alapú megközelítés.

• Cél:

Objektum keresése vagy felismerése a képen.

• Példák:

– Légi- és műholdképek esetén jól definiált helyszínek értelmezése (pl.

repülőterek esetén kifutópályák, terminálok helyének és irányának meghatározása).

– Alakfelismerés: karakterek felismerése, aláírás ellenőrzése.

(32)

Regisztráció típusai (III)

Nézőpont (viewpoint) regisztráció

• Ok:

Különböző nézőpontokból készülnek 2D képek 3D színtérről.

• Cél:

Alakrekonstrukció.

• Példák:

– Számítógépes látás: mélységi és alaki helyreállítás a különbségek alapján.

– Objektumok mozgásának követésére.

Forrás: http://grail.cs.washington.edu/projects/mvscpc/

(33)

Regisztráció típusai (IV)

Idősorozat (temporal) regisztráció

• Ok:

Különböző időpontokban és/vagy különböző feltételek mellett készültek a képek.

• Cél:

Változások detektálása, megfigyelése.

• Példák:

– Orvosi képfeldolgozás: DSA (kontrasztanyag beadása előtti és utáni képek kivonása).

– Légi- és műholdképek: erdők, városok és a felszín egyéb változásainak megfigyelése.

(34)

Orvosi képek regisztrációja

A betegről készült vizsgálatok illesztése

– megbízhatóbb diagnosztikai információt biztosít, – segíti a kép megértését,

– javítja a műtét- és terápiatervezést, valamint a kiértékelést.

(35)

Orvosi képek regisztrációja

Lehetséges alkalmazások:

– Különböző modalitásokból származó információtartalmak egyesítése

• Pl. funkcionális információ anatómiai képre.

– Méret, alak, képintenzitás változásainak időbeli követése

• Pár másodperctől akár évekig.

– Műtét előtt készült képek és műtéti tervek megfeleltetése a beteg testéhez műtét közben

• CIS – Számítógéppel végrehajtott műtéttervezés és végrehajtás.

– A betegről készült kép atlaszra való vetítése.

(36)

Dimenzionalitás

• Csak térbeli dimenziók (2D/2D, 2D/3D, 3D/3D)

• Idősorozatok (2D/2D, 2D/3D, 3D/3D)

– kontrasztanyag beadása előtt és után (nagyon rövid időköz), – műtét után a gyógyulás figyelésére (rövid intervallum),

– daganat növekedésének figyelése (közepesen hosszú), – csontok növekedése gyermekek esetén (nagyon hosszú

időközök).

(37)

Dimenzionalitás – 2D-3D

• Modellezük a 2D

képalkotást, így 3D-ből 2D képet állítunk elő.

(Digitally Reconstructed Radiographs - DRR)

• A "legjobban hasonlító"

állapotot keressük.

(38)

2D-3D (Zöllei Lilla, MIT)

(39)

2D-3D (Zöllei Lilla, MIT)

(40)

Képjellemzők típusa

• Külső (mesterséges)

– sztereotaktikus keret

• legpontosabb, de invázív

– fejhez, foghoz rögzített

eszközök, bőrön elhelyezett jelölők

• kényelmesebb, de pontatlanabb

• Belső

– anatómiai területek

• pontok, felszínek

– geometriai jellemzők – képpontintenzitások

– retrospektív megközelítés

(41)

Képjellemzők típusa

• Illeszkedés biztosítása a képalkotás során

– Pl. asztalhoz rögzített maszkkal pozícionálják a beteget – Ugyanazon képalkotó berendezés

– Néhány mm hiba

– Nincs szükség regisztrációra

(42)

Transzformáció

• Típus

– merev-test – affin

– polinomiális – nemlineáris

• Hatáskör

– globális – lokális

(43)

Optimalizáló eljárás

• Paraméterek közvetlen (direkt) számítása

• Paraméterek (iteratív) keresése

– Powell, Downhill simplex, Levemberg-Marquardt, Newton-Rapson, sztochasztikus keresések,

genetikus algoritmusok, többfelbontású technikák

(44)

Modalitások (I)

• Egymodalitásos

– idősorozat

– eltérő protokoll – atlasz illesztés

• Többmodalitásos

– kiegészítő képtartalmak

(45)

Modalitások (II)

• Modalitás – Modell • Modell – Fizikai tér

Prostate biopsy project, Johns Hopkins University, Baltimore, MD, USA

(46)

Interaktivitás

• Interaktív (manuális)

Jó megjelenítő szoftver szükséges. Munkaigényes.

• Félautomatikus

Megbízható, gyors, de tapasztalt felhasználót feltételez.

• Felhasználó inicializál (pl. pontkijelölés, szegmentáció).

• Felhasználó dönt (elfogad/elutasít).

• Mindkettő együtt.

• Automatikus

– Egyszerűen használható.

– Általában pontos, de ellenőrzést igényel.

– Bonyolult esetben nagy futásidőt igényelhet.

(47)

Illesztés típusa

• Egy beteghez tartozó (intrasubject)

• Betegek közötti (intersubject)

• Atlasz illesztés

(48)

Vizsgált szerv

• Fej

– Agy, koponya, szem, fogak

• Mellkas

– Szív, mell, teljes mellkas

• Has

– Vese, máj, teljes hasi rész

• Medence

– Prosztata, hólyag

• Végtagok

– Combcsont, felkarcsont, kéz, lábfej

• Gerinc

(49)

Történeti áttekintés (orvosi területen)

• 1900-as évek eleje óta

– Képi információval irányított sebészet (image-guided surgery)

• tű eltávolítása kézből (Birmingham, 1895)

• csaták után gránátrepeszek eltávolítása két kalibrált röntgen kép segítségével

• sztereotaktikus keretek (csontba rögzített eszközök)

• 1980-as évek közepe

– Igény retrospektív regisztrációra, munkaigényes

• 1990-es évek

– Automatikus retrospektív módszerek, intra- és inter-modalitás

• Manapság:

– Nemlineáris transzformációk, szövetdeformációk modellezése

• A számítógépes hardware fejlődése nagyban befolyásolta:

– Agyvizsgálat illesztése

• 1994 - több mint 1 óra futásidő, drága hardware

• 2000 - néhány perc futásidő, sokkal olcsóbb hardware

(50)

KÉPREGISZTRÁCIÓ

KÉPALKOTÓ TECHNIKÁK ÉS KÉPREPREZENTÁCIÓ

Tanács Attila

(51)

Képalkotás, megjelenítés

• Rendkívül fontos a képek és a regisztrációs eredmények jó megjelenítése

– Képek geometriája, színskálák – Koordináta-rendszerek

– Szeletorientációk 3D-ben – Képformátumok

– Képfúziós technikák

(52)

Képalkotás

• Az elektromágneses tartomány különböző részeinek mérésével

– Tárgyak felszínéről visszaverődő sugárzás

• Hagyományos fotók (2D)

– Látható tartomány, 2D érzékelő, lencserendszer

• Multispektrális képek (2D)

– Több, akár nem látható tartományból együttesen készül

– Tárgyakon áthaladva: vetületi képek (2D), rekonstruált képek (3D)

• Transzmissziós képek (2D, 3D)

– Objektumon áthaladó sugárzás alapján (rekonstrukció vagy vetület)

• Emissziós képek (2D, 3D)

– Objektumból származó sugárzás mérése (rekonstrukció vagy vetület)

• Egyéb technikák

– Pl. ultrahang, (lézeres) távolságmérés

(53)

Elektromágneses tartomány

• Különböző energiával rendelkező fotonok

– Egyező elv, más eszközök az előállításhoz és a detektáláshoz

Képek forrása: Wikipedia

(54)

• Természetes és mesterséges fényforrások

– Nap, közvilágítás, vaku, …

• A tárgyakról fény verődik vissza

– Anyagára jellemző mértékben a fény egyes

komponenseit elnyeli (szín), a többit visszatükrözi (matt, csillogó, …)

• A fénysugarak lencsék segítségével az érzékelőre jutnak

– Közeghatáron a fény útja megtörik, így irányítható a kis méretű érzékelőre

• Az érzékelő digitális jellé alakítja az impulzusokat

– Mintavételezés és kvantálás

Látható fény-alapú fotózás

(55)

Látás és leképezés

• Emberi szem és egy DSLR kamera keresztmetszete

– Képi információ mérése jegyzet alapján

(56)

Látás és leképezés

• Lyukkamera

– Fény kis lyukon, a vetítési középponton keresztül vetül a képalkotó síkra

– „Fejenálló” kép – „Camera obscura”

• National Geographic 2013. novemberi száma,

• Eger, Varázstorony

– Egyszerű matematikai modell

Fotó: Szász Péter –http://bp.underground.hu

(57)

Látás és leképezés

• Gyűjtőlencse

– Közeghatáron változik az irány – Éles kép: X-ből induló sugarak

a képsíkon 1 pontban találkoznak

– Apertúra (nyílás nagyság) hatása

• Mélységélesség

• Adott tartományon belül még elfogadható mértékű az

elmosódás

Panasonic lencse szabadalmak

(58)

Látás és leképezés

• Lencse torzítások

– Szoftveresen korrigálható

– Kamerák rendszerint ezt alkalmazzák is

• Nyers formátumú képadatban viszont látható

(59)

• Érzékelő

– Érzékenység (ISO) – Felbontás (MP) – Méret, típus

• Objektív

– Zársebesség – Fókusztávolság

• Zoom-átfogás

– Rekeszérték

• Megvilágítás

– Mennyisége, egyenletessége

• → HDR technika (High Dynamic Range – több fotó felhasználásával)

– Színhőmérséklet

Joseph Ciaglia, Barbara London, John Upton, Peter Kuhns:

Absolute Beginner's Guide to Digital Photography

Képalkotás főbb paraméterei

(60)

Távérzékelés

• Feladata

– Földfelszínről nagyobb távolságból készített adatok készítése és feldolgozása

• Története

– 1858: léghajó + kamera (pár 100 méter) – 1910-es évek: repülőgépről légi fotózás

• Sztereó képpárok

– 1940-es évek: rakéta technológia (több 100 km) – 1960-as évek: műholdas programok

• Alkalmazási területek

– Állapotfelmerésre és változáskövetésre

– Meteorológia, földtan, mezőgazdaság környezetvédelem, vízgazdálkodás, térképészet, katonaság

(61)

Alkalmazások

• Mezőgazdaság

– Reflektanciagörbe alapján: növényzet fajták szerint csoportosítása, betegségek észlelése, talaj típusának megállapítása

• Térképészet

– NASA SRTM programja

• 2000-ben, Endeavour űrrepülő

• Földfelszín 80%-át lefedő digitális domborzati modell

• Radar-alapú felmérés

• Felbontása: 30 méter (USA) – 90 méter (máshol)

• Ingyenesen elérhető

(62)

Alkalmazások

• Változáskövetés

– Több hónapos vagy éves eltéréssel készült fotók

– Urbanizáció mértéke, katasztrófák esetén a változás mértéke

– Hatalmas adatmennyiség!

• Automatizálás célja: az emberi munka elegendő legyen a problémás területeken

(63)

Orvosi képalkotó berendezések

• 2D képalkotás

– Anatómiai

(morfológiai) képek

• Röntgen

• Ultrahang

– Funkcionális képek

• Gamma kamera

• 3D képalkotás

– Anatómiai

(morfológiai) képek

• MR

• CT

– Funkcionális képek

• SPECT

• PET

• fMRI

Részletesebb anyag:

Képi információ mérése jegyzet 6.1 alfejezete (magyarul)

Medical Imaging Systems – An Introductory Guide (angol nyelven)

(64)

2D képalkotás

Röntgen (X-ray) Ultrahang (Ultrasound)

(65)

Röntgen működési elv

(66)

Röntgen fő jellemzők

• Testen áthaladó sugárzás

– Nagy dózisban egészségkárosító lehet!

• 2D vetületi kép

– 3D helymeghatározás nehézkes

• Olcsó és elterjedt technika

– Elsősorban csontozatot érintő belső

elváltozások diagnosztizálásra

(67)

Ultrahang fő jellemzők

• Magas frekvenciás hanghullámok

– Ember számára nem hallhatók

– Szövethatárról visszaverődés érzékelődik – Valós idejű 2D szelet képalkotás

• Hozzáértést igényel!

– Laikus számára nehéz a képi értelmezés

• Egészségkárosító hatása nem ismert

• Elterjedt és olcsó technika

(68)

MR CT

PET ^SPECT

3D modalitások

(69)

3D anatómiai képalkotás

Mágneses rezonancia (Magnetic Resonance)

256x256

Számítógépes tomográfia (Computed Tomography)

512x512

(70)

Forrás: Hack Zoltán szakdolgozata

(71)

Forrás: Hack Zoltán szakdolgozata

(72)

Mágneses rezonancia képalkotás

• Elterjedt, de időigényes vizsgálat – 1980-as évektől

– Lágy szövetek (víz tartalmú) jó megjelenítése

– Erős konstans mágneses mező + rádiófrekvenciás impulzus + annak hatására felszabaduló impulzusok mérése

– Valódi 3D képalkotás

– Viszont nemlineáris torzulás léphet fel a képen

• Jó térbeli felbontás

– Jellemzően 0,5 mm – 1 mm

• Egészségkárosító hatása nem ismert

– Viszont az erős mágneses mező miatt ferromágneses tárgyakat nem vihetünk be. Pl. szívritmus-szabályzó, fém implantátum, stb.

kizáró ok lehet.

– Kényelmetlen, klausztrofóbiás reakciót válthat ki

• Angol nyelvű rövid áttekintés

– https://www.radiologymasterclass.co.uk/tutorials/mri/mri_scan

(73)

CT képalkotás

• Elterjedt vizsgálat típus

– 1980-as évektől

– Elsősorban csontozat megjelenítésére

– Röntgen sugárzás alapú. 1D vetületekből 2D szelet rekonstrukció.

– Újabb változatai spirál alakban mozognak a beteg körül – még gyorsabb képalkotás

– Újabban PET technikával ötvözik – Geometriailag korrekt képet ad

• Jó térbeli felbontás

– Jellemzően 0,25 mm – 0,5 mm

• A röntgen miatt egészségkárosító lehet!

(74)

3D funkcionális képalkotás

SPECT

(Single Photon Emission Computed Tomography)

64x64

(Positron Emission PET Tomography)

128x128

(75)

SPECT képalkotás

• Testbe juttatott sugárforrás

– Izotóp injekció: normál molekula (pl. cukor) + radioaktív követő (tracer)

– Gamma-bomláson alapul

– Nagyobb felezési idő, laboratóriumtól távolabb is végezhető vizsgálat

• Gyenge térbeli felbontóképesség

• Hosszú vizsgálati idő

(76)

PET képalkotás

• Testbe juttatott sugárforrás

– Izotóp injekció: normál molekula (pl. cukor) + radioaktív követő (tracer)

– Pozitron kibocsátás bomláskor, elektronnal ütközés megsemmisülést okoz, ami két, ellentétes irányba mozgó fotont eredményez. Az egyidejű becsapódás detektálható külső detektoron.

– Kisebb felezési idő, elektrongyorsító szükséges a közelben

– CT berendezéssel kombinálják újabban

• Gyenge térbeli felbontóképesség

• Hosszú vizsgálati idő

(77)

3D funkcionális képalkotás

fMRI

(functional Magnetic Resonance)

256x256

Forrás: http://www.fmrib.ox.ac.uk/fmri_intro/brief.html

• Normál MRI, majd 1 másodperces, gyors képalkotás.

• Agyi oxigénszint mérése: hol nagy az aktivitás éppen, mely agyterület működik egy

cselekvés hatására.

(78)

Digitális képek geometriája

• 2D vagy 3D mátrix (2D szeletek sorozata)

– Dimenzionalitás (sorok, oszlopok, szeletek száma) – Térbeli felbontás (1 képpont mérete mekkora a valós

térben)

– Általában 8-12 bites intenzitásérték képpontonként

• Problémák

– Szelettávolság nem állandó (pl. CT).

• Fontosabb részeken sűrűbb, máshol csak áttekintő képet ad.

– Döntött képalkotó sík (gantry tilt - pl. CT).

– A szeletek nem párhuzamosak egymással (pl. ultrahang).

(79)

Ultrahang képsorozatok

Forrás: Randy Goldberg, CISST, JHU, Baltimore, MD

(80)

Mintavételezés

Ugyanazon tárgyról készült két különböző térbeli felbontású 2D digitális kép mintavétele- zési rácsai. A képpontok helye a rácspontokban található.

X objektumról készült A és B képek.

𝐴: 𝑥_𝐴 ∈ Ω_𝐴 ⟼ 𝐴(𝑋_𝐴)

Térbeli pozícióhoz tartozó intenzitásérték (mérhető anyagjellemző); pixel, képpont.

Δ diszkrét mintavételezési rács 𝛿 = (𝛿^𝑥, 𝛿^𝑦, 𝛿^𝑧) mintavételezési lépésközzel.

Mérés a pontban, vagy szűk környezetében.

Duális képpont definíció: rács mozaik.

Szelettávolság, szeletvastagság.

A mintavételezett kép hagyományos képmátrix megjelenítése, figyelmen kívül hagyva az eltérő mintavételezési léptéket és orientációt.

(81)

Koordináta-rendszerek

• Képpontok helyzetének meghatározása:

– IJK (index)

• A képmátrix sorai, oszlopai, szeletei indexelve.

• Gyakran nem izotropikus!

– RAS (beteg)

• Betegközpontú rendszer (bal-jobb, elől-hátul, fent-lent).

• Milliméteres, izotropikus.

– WLD (világ)

• Világkoordináta-rendszer, pl. a képalkotó rendszeré.

• Milliméteres, izotropikus.

(82)

Szeletorientációk

• (Transz)axiális

– A beteg hosszanti tengelyére merőleges sík.

• Sagittális

– A beteg bal-jobb tengelyére merőleges sík.

• Coronális

– A beteg elől-hátul (anterior-posterior) tengelyére merőleges sík.

• Ferde metszet

– Egyik főtengelyre sem merőleges sík.

(83)

Koordináta-rendszerek

Forrás: DICOM specifikáció, Slicer demó

(84)

Koordináta-rendszerek

Forrás: DICOM specifikáció

(85)

Insight Toolkit (ITK)

• Eszköz képfeldolgozó, szegmentációs és regisztrációs problémák megoldására

– C++, nyílt forráskódú, platformfüggetlen

– Generikus programozás template-ek használatával

– Összekötés Tcl/Tk, Java, Python nyelvekkel, interfész VTK-hoz

– Regisztrációs keretrendszer

• Képregisztráció, többfelbontású technikák, PDE-alapú regisztráció és FEM regisztráció.

– I/O keretrendszer

• DICOM elemző

• Anyagok

– Webhely: http://www.itk.org – Letöltés, dokumentáció:

https://itk.org/ITK/resources/software.html

(86)

SimpleITK

• Az ITK egyszerűsített verziója

– http://www.simpleitk.org

– Túl bonyolult és nehézkes a C++ ITK

– Leggyakoribb (képpont) típusokra rögzített – Python és Java bináris disztribúció

• Python

– NumPy, SciPy, Matplotlib Python csomagok szükségesek

– Átjárás itk::Image és NumPy tömbök között

• Feldolgozás SimpleITK szűrőkkel vagy NumPy eszközökkel

• NumPy tömb megjeleníthető standard Python eszköztárral

– Jupyter-Notebook kapcsolat

• Kód, kommentár és eredmény weboldalon

• http://insightsoftwareconsortium.github.io/SimpleITK- Notebooks/

(87)

itk::Image

• Kép intenzitásértékei és térbeli paraméterei

– Képpontok típusa

• Egész, lebegőpontos, vektor, bit szélesség

– Dimenzió

• Hány sor, oszlop, szelet

– Térbeli felbontás (spacing)

• Fizikai méret a tengelyek mentén

– Tengely irányok (direction)

• A kép X-, Y-, Z-tengelyei a világ koordináta-rendszerben merre mutatnak

– Origó

• IJK koordinátája az első képpontnak

– Index

• Melyik sor/oszlop/szelet értékét akarjuk címezni

– Régió

• A kép mekkora része érhető el

– Teljes kép, memóriába betöltött rész, feldolgozás alatt álló rész

(88)

ITK Image

(89)

KÉPREGISZTRÁCIÓ

ORVOSI KÉPFORMÁTUMOK ÉS MEGJELENÍTÉS

Tanács Attila

(90)

Kórházi információs rendszerek

• Rengeteg orvosi információ naponta

– Vizsgálati eredmények, laboreredmények,

zárójelentések, műtéti protokollok, adminisztrációs adatok, …

• Fontos a rendezett tárolás és adatelérés!

– Kórházi információs rendszerek (HIS – Hospital Information System)

– Komplex feladat, nehéz egységes megközelítést adni – Részfeladat: orvosi képek továbbítása és tárolása

• PACS (Picture Archiving and Communication System)

• További információk

– Képi információ mérése jegyzet 6.4 alfejezete – Képi adatbázisok kurzus

(91)

Orvosi képformátumok

• Általában tartalmaznak:

– Fejléc információt (meta-adatok)

• fejléc, térbeli méret, pozíció, beteg elhelyezkedése (pl. hason/háton), a felvétel készítésének körülményei, betegadatok (nem publikus!).

– Képi információt kódolva

• képpontértékek tömörítve, tömörítés nélkül,

• színskála, szegmentálás eredménye, maszk (opcionális).

• Egyre több kórházban van PACS rendszer üzemben

– Elterjedt szabvány: DICOM

– Más formátumok (elsősorban kutatási feladatokhoz)

• pl. Interfile, Analyze, MetaImage, NRRD, …

(92)

Metaimage fájl formátum

• Kiterjesztések

– .mhd (fejléc), .raw (tömörítetlen adat), zraw (tömörített adat)

– .mha (fájl elején szöveges fejléc, majd bináris

adat)

(93)

Metaimage fájl formátum

ObjectType = Image NDims = 3

BinaryData = True

BinaryDataByteOrderMSB = False CompressedData = True

CompressedDataSize = 8702333

TransformMatrix = 0.0266429 0.999642 0.00245366 -0.00180059 0.00250252 -0.999995 -0.999643

0.0266384 0.00186662

Offset = 58.6319 -134.061 63.147 CenterOfRotation = 0 0 0

AnatomicalOrientation = ASL

ElementSpacing = 0.4688 0.4688 6.00002 DimSize = 512 512 23

ElementType = MET_SHORT

ElementDataFile = MRI_SagT2FRFSE.zraw

(94)

NRRD fájl formátum

• Kiterjesztés

– .nrrd

• Tartalma

– Fejléc adatok szöveges formában, majd – Bináris adat

• További információ

– http://teem.sourceforge.net/nrrd/format.html

(95)

NRRD fájl formátum

NRRD0004

# Complete NRRD file format specification at:

# http://teem.sourceforge.net/nrrd/format.html type: short

dimension: 3

space: left-posterior-superior sizes: 256 256 159

space directions: (0.93750000000000022,0,0)

(0,0,0.93750000000000022) (0,-1.5000000000000004,0) kinds: domain domain domain

endian: little encoding: gzip

space origin: (-119.53125000000003,

118.50000000000001,-119.53125000000003)

(96)

Színskálák

• A pixelek nem színt definiálnak, hanem

intenzitásértéket, ezt valamilyen színné kell alakítani megjelenítéskor.

– Szürkeárnyalatos, – szivárványskála, – forró fém skála, – stb.

• Intenzitás résztartomány kiválasztása megjelenítéshez.

– Küszöbölés, vágás, ablakolás (Window/Level)

• Anyag

– Képi információ mérése jegyzet 6.3 alfejezete

(97)

Hounsfield skála (CT)

. együttható

s abszorbció

az ahol

,



víz

h 

víz



Forrás: ?

(98)

-1000

window level

1000

0 255

intenzitások

színskála

Ablakolás (Window/Level)

(99)

3D képek megjelenítése

• Szeletsorozat

– Több, azonos orientációjú szelet egyidejű megjelenítése

• Többszeletes rekonstrukció

– Különféle orientációjú képek együttese

• Felszín vizualizáció

– Objektumok szegmentálása, közelítő felszínháló generálása

• Térfogat vizualizáció

– Objektumon áthaladó sugarak mentén elnyelődés számítása

(100)

Szeletsorozat

(101)

Többszeletes rekonstrukció

Forrás: Slicer demó

(102)

Felszín vizualizáció

(103)

Térfogat vizualizáció

(104)

Regisztrációs eredmények megjelenítése

• Összekapcsolt célkereszt (linked cursor)

• Képfúzió

– színsíkok használata (color overlay), átlátszóság

• vörös-zöld, színárnyalat-szürke

– "sakktáblás" megjelenítés

– képek gyors váltogatása (manuális, automatikus) – osztott megjelenítés (pl. egyenes vonal mentén) – különbségkép

– képek megjelenítése standardizált térben (pl. Talairach) – felszínkivonás + színezés

– kontúrok vetítése a képre

(105)

Regisztrációs eredmények megjelenítése

• Nemlineáris regisztráció esetén deformáció megjelenítése.

– Vektorok,

– Deformált négyzetháló,

– Színkódolás (pl. az elmozdulási vektor magnitúdója).

(106)

Színsíkok használata

(107)

Sakktáblás mozaik

(108)

Átlátszóság

Forrás: Slicer demó

(109)

Kontúrok

Forrás: D.L.G. Hill

(110)

Elmozdulási vektorok

Forrás: D.L.G. Hill

(111)

Deformált négyzetháló

(112)

PET-CT fúzió

Képek forrrása: http://www.hokuto7.or.jp/equipment/pet-ct/pet-ct.html

(113)

Változó expozíciós idejű fotók fúziója

• Motiváció

– Ha a fényeloszlás nem egyenletes, bizonyos részek

• túlexponáltak és/vagy

• alulexponáltak lesznek.

• Megoldás

– Több képet készítünk más beállításokkal – Képeket kisebb részekre osztjuk

– A legnagyobb információtartalmú részt választjuk – A képrészek színeit összeelegyítjük

• Feltétel

– A fényképek már regisztrálva vannak, nincs mozgó objektum

A.A. Goshtasby: Fusion of multi-exposure images. Image and Vision Computing, vol. 23, pp. 611–618, 2005.

(114)

Képek forrása: A.A. Goshtasby

(115)

(116)

(117)

Információtartalom mérése

• Képek felosztása

– dxd méretű blokkokra

• Entrópia számítása a blokkokra

– Szürkeárnyalatos és színes képek esetén

– Színes képek esetén

• 256 leggyakoribb szín előzetes kiválasztása

• RGB színtér helyett CIELab vagy CIELuv színtérben )

255 log(

0 i

i i

g p p

E







 ²⁵⁵ log( )

0

ic i

c pc p

E









(118)

Fúzionált kép

• Új kép összerakása

– Legnagyobb entrópiájú blokk választása

Képek forrása: A.A. Goshtasby; Osztroluczki András és Zajác Erik

Blokkhatároknál finom átmenet biztosítása!

(119)

Fúzionált kép

• Új kép összerakása

– Legnagyobb entrópiájú blokk választása

• Blokkhatároknál finom átmenet biztosítása

– Racionális Gauss (RaG) elegyítő függvények

• Teljes képtartományon értelmezettek

• Minden pontban 1 ezek összege

) , ( )

, ( )

, (

1 1

y x I

y x W

y x

O ⁿ _jk

j n

k jk

r c







 

 

 

 nr c

m

n

n mn

jk

jk G x y

y x y G

x W

1 1 ( , )

) , ) (

,

( 

















 

 ² ₂ ²

2

) (

) exp (

) ,

( 

jk jk jk

y y

x y x

x G

j,k-dik blokk középpontja

(120)

Algoritmus

1. Blokkméret (d) és az elegyítés szélességének (σ) kezdeti beállítása, ezek változtatásának Δ lépésközének rögzítése.

2. Minden képet bontsunk fel dxd méretű blokkokra és számítsuk ki a blokkok entrópiáját. Minden

blokkpozíción válasszuk a legnagyobb entrópiájút.

3. Elegyítsük a képblokkokat és határozzuk meg a fúzionált kép entrópiáját.

4. Változtassunk d és σ értékén és hajtsuk végre a 2. és 3.

lépéseket. Válasszuk azon paramétereket, amelyek a legmagasabb entrópiát biztosítsák.

5. Ezekkel a paraméterekkel készítsük el az eredményképet.

(121)

Megoldandó problémák

• Geometriai eltérés

– Képalkotáskori bemozdulás miatt

– Állvány használata vagy szoftveres regisztráció

• Mozgó objektumok

– Detektálásuk szükséges

– Pl. A legnagyobb kontraszttal rendelkező

változatot bemásolni az eredmény képre

(122)

HDR eredmény Bemeneti képek

Nagymértékű elmozdulás torzító hatása

HDR Camera+ alkalmazás (Android)

(123)

HDR eredmény Bemeneti képek

Mozgó alakzatok kiszűrése

HDR Camera+ alkalmazás (Android)

(124)

Kiterjesztés multifókusz képekre

• A fókusz beállításától függően közeli vagy távoli objektumok elmosódottak lehetnek.

• Készítsünk képeket többféle fókuszbeállítással.

• Bontsuk a képeket blokkokra.

• Válasszuk ki a legélesebb blokkokat.

• Élesség mértéke: gradienskép magnitúdójának négyzetösszege

• Képblokkok elegyítése

(125)

(126)

(127)

KÉPREGISZTRÁCIÓ

GEOMETRIAI TRANSZFORMÁCIÓK ÉS INTERPOLÁCIÓS MÓDSZEREK

Tanács Attila

(128)

Geometriai transzformációk

• Függvény

• Típusok

– m > n: vetítés (dimenzióvesztés) – m = n: normál transzformáció

n

m R

D  :

 D^m  ^m_, Rⁿ  ⁿ_,n_,m ₁

(129)

Geometriai transzformációk

• Megadási módok

– Parametrikus

• Kis számú paraméter, képlet

– Nem-parametrikus

• Elmozdulási mező

– Digitális képekre, vektor minden képponthoz

• Kényszerfeltétel (regularizáció)

• Fizikai modellre épülő nemlineáris transzformációknál szokásos

(130)

Geometriai transzformációk

• Lehetséges megszorítások

– φ tetszőleges leképezés – φ invertálható leképezés – φ diffeomorfizmus

• Invertálható, differenciálható, inverze is differenciálható („sima”, „nem gyűrődik fel”)

– φ terület/térfogat megőrző – φ lineáris

• Előáll a koordináták lineáris kombinációjaként

– φ megőrzi a pontok közötti távolságot

• Merev-test transzformáció

(131)

Geometriai transzformációk

Transzformáció típusa (2D) Tulajdonság

Eltolás (2 DOF) Orientáció-, távolság- és szögtartó Merev-test (eltolás és elforgatás)

(3 DOF) Távolság-, terület és szögtartó

Hasonlósági (merev-test + uniform

skálázás) (4 DOF) Szögtartó, távolság-arány tartó Affin (merev-test + skálázás + nyírás)

(6 DOF) Párhuzamosságtartó, területarány-tartó,

hosszarány-tartó párhuzamos vagy egy egyenesbe eső egyeneseken, vektorok lineáris kombinációit (pl. súlypont) megtartja

Perspektív (síkhomográfia) (8 DOF) Egyenes képe egyenes, keresztarány- tartó (hosszarányok aránya)

Nemlineáris Egyenes képe görbe. Pl. spline-alapú

deformációk, hordó-, tűpárna torzítás

(132)

• Koordináták lineáris kombinációja + eltolás

• Tulajdonságok

– Egyenes képe egyenes marad – Párhuzamosságtartó

– Nem szögtartó

– Megadható mátrixműveletekkel

1 , 2

2 1

1

'

) ,

, (

















m i m

im i

i i

m m

a x

x x

P D

P



Lineáris (affin) transzformációk

(133)

2D transzformációk homogén koordinátákkal

Az (x,y) homogén koordinátája:

(x,y,W),

amelyre teljesül, hogy (x,y,W) = (x’,y’,W’),

ha  : x’=  ∙x, y’= ∙y, W’= ∙W, vagyis egy ponthoz végtelen sok (x,y,W) tartozik.

Ha W0, akkor az (x,y) szokásos jelölése: ; ha W=0, akkor (x,y,0) végtelen távoli pont.



 



 , ,1

W y W

x

(134)

Kapcsolat (x,y) és (x,y,1) között:

• az (x,y,W) homogén koordináta és az (x,y) Descartes-koordináta közötti

összefüggés (ha W≠0):

x = _W ^X , y = _W ^Y .

(135)

Kapcsolat (x,y) és (x,y,1) között

y

W



 



 , 1, W

y W

x P(x,y,W)

x

P vetülete a W=1 síkon (ezen a síkon vannak a homogén

koordináták)

(Végtelen távoli pontok nincsenek a síkon.)

(136)

Az elemi transzformációk

homogén koordinátás megadása

a lineáris transzformáció mátrix műveletekkel elvégezhető:

egységes kezelhetőséghez homogén koordinátákat használunk:



 



 



 



 



 



 



 





y x

p p y

x T

T

T T

y x

22 21

12 11

' '

















 















 















1 1

0 0

1 ' '

22 21

12 11

y x p

T T

p T

T y

x

y x