dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
1 MTA SZTAKI
Department of Distributed Systems
Megszólal a jelnyelv jelnyelvi tolmácskesztyű
beszéd- és halláskárosultaknak
Mátételki Péter
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
2
Helen Keller
„A vakság a dolgoktól választ el, a
siketség az emberektől.”
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
3
Mi a probléma?
Siket, hallás- és beszédkárosult emberek
mindennapos kommunikációs problémák
munkaerőpiaci nehézségek
nehéz társadalmi integráció
elszigeteltség, “klikkesedés”
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
4
Jelnyelvi tolmács
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
Silent Speech Translation (interACT) 5
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
Eyes-Free Keypad Input 6
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
Keyboard Glove – University of Alabama 7
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
8
Hogyan segíthetünk?
Megoldást jelentene egy
intelligens segédeszköz
fogyatékkal élők és épek integrációja
áthidalja a kommunikációs szakadékot
mindennapi használatra alkalmas
intuitív, nem igényel tanulást
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
9
Pályázat
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
10
Megoldásunk
innovatív hardver- és szoftverrendszer
jelnyelvből beszéd
folyamatos, valós idejű működés
jelnyelvi szinkrontolmács
Tolmácskesztyű
szinkrontolmácsgép beszéd- és halláskárosultaknak
Tolmácskesztyű
szinkrontolmácsgép beszéd- és
halláskárosultaknak
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
11
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
12
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
13
Rendszeráttekintés
jelnyelv – nem igényel betanulást
egyik kézen viselhető kesztyű
szenzorok
mikrovezérlés
adatfeldolgozás
Bluetooth
mobil app
jelfeldolgozás
nyers szöveg
nyelvi elemzés
felolvasás
közösségi szolgáltatások
gesztusok megosztása
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
14
Gesztusfelismerés
9DOF integrált chipek
jelfúzió
inerciahálózat
virtuális kéz
gesztusleírók
30 gesztus/sec
soros USB
soros Bluetooth
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
15
Daktil “ujjábécé”
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
16
Nyelvi elemzés
hibák
rosszul mutatott jelek
jól mutatott jelek
átmeneti jelek
duplikált jelek
természetes nyelvi elemzés
betűhatárok felismerése – szegmentálás
ablakozó algoritmus
kézdinamikai vizsgálat alapján
kontextusérzékeny szövegjavítás
confusion matrix
módosított Levenshtein távolság
n-gram
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
17
Működés
jelnyelv (Daktil és saját)
betanítható saját gesztusok
kézállapotok digitalizálása
gesztusleírók létrehozása
jelfeldolgozás (szegmentáció)
szöveg készítése
automatikus felolvasás
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
18
Felhasználás
Fogyatékos Személyek Esélyegyenlőségéért Közalapítvány,
’Jelnyelvi tolmácsszolgáltatás igénybevételi adatainak elemzése
a 2009. június 01. és 2010. május 31. közötti tárgyidőszakra vonatkozóan’
évi 120 óra ingyen állami támogatás (2012)
évi 120 óra ingyen állami támogatás (2012)
utána kb. 6000.- / óra
utána kb. 6000.- / óra
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
19
Felhasználás
Fogyatékosok hétköznapi szituációkban:
munka
banki ügyintézés
vásárlás üzletben, piacon
közhivatali ügyintézés
egészségügyi ellátás
oktatás
szabadidő
…
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
20
Tervek
dinamikus kesztyű
kétkezes kesztyű
speciális felhasználás (pl. tűzoltók, katasztrófa)
gyógyászati felhasználás
trendi (fiatalos) felhasználási területek
egyéb ipari felhasználás
dsd.szta ki.hu
MTA SZTAKI
Department of Distributed Systems
