dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
1 MTA SZTAKI
Department of Distributed Systems
Mutasd a hangod!
intelligens gépi jeltolmács
beszéd- és halláskárosultaknak
Mátételki Péter
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
2
Helen Keller
„A vakság a dolgoktól választ el, a
siketség az emberektől.”
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
3
Mi a probléma?
Siketek, hallás- és beszédkárosultak:
mindennapos kommunikációs problémák
nehéz társadalmi integráció
munkaerőpiaci nehézségek
elszigeteltség
“klikkesedés”
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
4
Jelnyelvi tolmács
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
Silent Speech Translation (interACT) 5
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
Eyes-Free Keypad Input 6
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
Keyboard Glove – University of Alabama 7
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
8
Hogyan segíthetünk?
Megoldást jelentene egy
intelligens segédeszköz
fogyatékkal élők és épek integrációja
áthidalja a kommunikációs szakadékot
mindennapi használatra
intuitív
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
9
Ez meg mi?
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
10
Megoldásunk
jelnyelvből beszéd
folyamatos, valós idejű működés
jelnyelvi szinkrontolmács
innovatív hardver- és szoftverrendszer
Tolmácskesztyű
szinkrontolmácsgép beszéd- és halláskárosultaknak
Tolmácskesztyű
szinkrontolmácsgép beszéd- és
halláskárosultaknak
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
11
Így működik
jelnyelv – nem igényel betanulást
egyik kézen viselhető kesztyű
szenzorok
mikrovezérlés
adatfeldolgozás
Bluetooth
mobil app
jelfeldolgozás
nyers szöveg
nyelvi elemzés
felolvasás
közösségi szolgáltatások
gesztusok megosztása
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
12
Gesztusfelismerés
9DOF integrált chipek
jelfúzió
inerciahálózat
virtuális kéz
gesztusleírók
30 gesztus/sec
soros USB
soros Bluetooth
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
13
Daktil “ujjábécé”
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
14
Nyelvi elemzés
hibák
rosszul mutatott jelek
jól mutatott jelek
átmeneti jelek
duplikált jelek
természetes nyelvi elemzés
betűhatárok felismerése – szegmentálás
ablakozó algoritmus
kézdinamikai vizsgálat alapján
kontextusérzékeny szövegjavítás
confusion matrix
módosított Levenshtein távolság
n-gram
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
15
Működés
jelnyelv (Daktil és saját)
betanítható saját gesztusok
kézállapotok digitalizálása
gesztusleírók létrehozása
jelfeldolgozás (szegmentáció)
szöveg készítése
automatikus felolvasás
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
16
Felhasználás
Fogyatékos Személyek Esélyegyenlőségéért Közalapítvány,
’Jelnyelvi tolmácsszolgáltatás igénybevételi adatainak elemzése
a 2009. június 01. és 2010. május 31. közötti tárgyidőszakra vonatkozóan’
évi 120 óra ing yen álla mi tám oga tás (20 12)
évi 120 óra ing yen álla mi tám oga tás (20 12)
utá na kb. 600 0.- / ór a
utá na kb. 600 0.- / ór a
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
17
Felhasználás
Fogyatékosok hétköznapi szituációkban:
munka
banki ügyintézés
vásárlás üzletben, piacon
közhivatali ügyintézés
egészségügyi ellátás
oktatás
szabadidő
…
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
18
Tervek
dinamikus kesztyű
kétkezes kesztyű
speciális felhasználás (pl. tűzoltók, katasztrófa)
gyógyászati felhasználás
trendi (fiatalos) felhasználási területek
egyéb ipari felhasználás
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
19
Pályázat
KMR-12
MTA SZTAKI Euronet Zrt.
2012.10.01.
24 hónap
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
