https://frosthead.com

See kantav seade tõlgib viipekeelt inglise keelde

Umbes 500 000 ameeriklast kasutab ameeriklaste viipekeelt (ASL). Kurtide ASL-i kasutajate jaoks võib probleemiks osutuda suhtlemine nendega, kes ei valda keelt. Ehkki enamik kurtide sündinud ameeriklasi õpib kõnekeelt logopeedilise abiga, on mõnel siiski raske end verbaalselt mõista või leiavad viipekeeled lihtsalt enese väljendamise sujuvama vormi.

Nüüd on Texase A&M ülikooli teadlased välja töötanud kantava seadme, mis “tõlgib” viipekeele inglise keelde, tundides kasutaja liigutusi. Prototüübi staadiumis olev seade suudab 96-protsendilise täpsusega tuvastada umbes 40 ASL-i märki.

Süsteem kasutab kahte andurit. Üks on kiirendusmõõturi ja güroskoobiga liikumisandur, mis mõõdab kasutaja käe ja käe kiirust ning nurka. Avastades, kus on kasutaja käed ja käed, võib ta hakata arvama, mis sõna nad allkirjastavad. Siis on olemas elektromüograafiline andur, mis mõõdab lihaste liikumise elektrilist potentsiaali. See oskab täpselt öelda, milline osa käsi ja sõrmi liigub, mis on kriitiline.

“Kui vaadata Ameerika viipekeele sõnavara, on juhtumeid, kus käsi ise liigub ja siis on sõrmede liigutamine väga peeneteraline, ” ütleb projekti juhtinud insener Roozbeh Jafari. "Kui soovite neid tuvastada, ei saa te lihtsalt käe liigutust kasutada."

Näiteks hõlmab sõna “palun” ASL-is lahtise käega rinnast ringide tegemist. Sõna “vabandust” kasutab identset liigutust, kuid käsi on rusikas kinni.

Andurid on kulunud kasutaja paremal randmel. Kogutud teave saadetakse Bluetoothi ​​kaudu sülearvutile. See sülearvuti käivitab tähise tõlgendamiseks algoritmi ja kuvab ekraanil sõna inglise keeles.

Lõpuks loodab Jafari sülearvuti vajaduse tühistada, lisades väikese arvuti otse seadmesse. Seejärel võiks arvuti saata ingliskeelseid sõnu teise inimese telefoni, et nad saaksid lugeda, mida nende vestluskaaslane räägib.

Ilmselt peab tõlkija ka valdama palju rohkem kui 40 märki, et olla elujõuline toode. Kuigi ASL-i märke on sadu, valiti 40 algset märki, kuna need on levinud ja kasulikud, väidab Jafari. Inimene saab nende abil öelda lihtsaid ja üliolulisi lauseid, näiteks „Ma vajan vett”. Seade peab ka kiiremini tööle minema - praegu peavad kasutajad tegema sõnade vahel pausi, et anda tõlkimiseks aega.

"Tegelikult inimesed ei räägi niimoodi, " ütleb Jafari.

Kuid see keerukam süsteem on tema sõnul viis allakäiku ning hõlmab rohkem tööd ja rahalisi vahendeid.

Varasemates ASL-i tõlketehnoloogiates on žestide lugemiseks kasutatud kaameraid. Kuid need ei tööta halva valgustuse korral hästi, väidab Jafari. Lisaks ei meeldi paljudele inimestele mõte, et kaamera jälgib neid kogu aeg.

Viimastel aastatel on loodud mitmeid muid tehnoloogiaid, mis aitavad kurtidel ja kuulvatel inimestel omavahel suhelda. Eelmisel aastal välja antud rakendus Transcense tõlgib mitme inimese kõne kirjutatud sõnadeks ja esitleb neid ekraanil värviliste mullidena. See on mõeldud kurtide abistamiseks koosolekutel või sotsiaalsetes olukordades, kus mitu esinejat võivad olla väljakutseks isegi kõige vilumatele huulelugejatele. Teine ettevõte, MotionSavvy, on töötanud tahvelarvuti kallal, mis tõlgendab ASL-i liikumisi ja loeb sõnad inglise keeles valjusti. Hiinas on teadlased kasutanud Microsofti liikumistundlikke seadmeid Kinect hiina viipekeele tõlkimiseks suulisteks ja kirjutatud sõnadeks.

Kuna keegi, kes on pikka aega töötanud koos kantavate tehnoloogiatega, nagu näiteks südamerütmi jälgivad kellad, mõistab Jafari mugavuse ja esteetika olulisust. Kui seade on ebamugav ja segav, ei kanna inimesed seda. Praegune viipekeele tõlkeseadme prototüüp näeb välja nagu meditsiiniline seade, elektroodide, rihmade ja juhtmetega. Jafari sooviks, et lõppversioon oleks väike ja atraktiivne.

"Tahan, et kogu süsteem sobiks kellaga, " ütleb ta.

See kantav seade tõlgib viipekeelt inglise keelde