Elektroonika ja neuroteaduse edusammudega on teadlased suutnud ajuimplantaatide abil saavutada tähelepanuväärseid asju, näiteks taastada pimedatele nägemise sarnasus. Lisaks füüsiliste meelte taastamisele otsivad teadlased ka uudseid võimalusi suhtlemis hõlbustamiseks neile, kes on kaotanud kõnevõime. Uus kollektsioon, mis võtab vastu andmeid kolju sisse implanteeritud elektroodidelt, võib aidata halvatud patsientidel rääkida ainult nende meelsusest.
San Francisco California ülikooli (UCSF) teadlased töötasid välja kaheastmelise meetodi ajusignaalide muutmiseks arvutisünteesitud kõneks. Nende tulemused, mis avaldati sel nädalal teadusajakirjas Nature, pakuvad kõnevõime kaotanud inimestele võimalikku sujuvamat suhtlemist.
Aastaid on teadlased püüdnud kasutada neuraalseid sisendeid, et anda inimestele, kelle neuroloogilised kahjustused takistavad neil rääkida, tagasihelistamine - nagu insuldi üle elanud või ALS-iga patsiendid. Siiani on paljudes nendes aju-arvuti liidestes olnud kirjas tähthaaval põhinev lähenemisviis, milles patsiendid liigutavad oma silmi või näolihaseid mõtete lausumiseks. (Stephen Hawking juhatas kuulsalt oma kõnesüntesaatorit läbi põse väikeste liigutuste.)
Kuid seda tüüpi liidesed on aeglased - kõige rohkem toodetakse 10 sõna minutis, murdosa inimese keskmisest rääkimiskiirusest 150 sõna minutis. Kiirema ja sujuvama suhtluse jaoks kasutasid UCSF-i teadlased süvaõppe algoritme, et muuta närvisignaalid kõnelauseteks.
“Nendel patsientidel on aju puutumatu, kuid neuronid - rajad, mis viivad teie käte, suu või jalgade juurde - on lagunenud. Neil inimestel on kõrge kognitiivne funktsioneerimine ja võimed, kuid nad ei suuda igapäevaseid ülesandeid täita, näiteks liikuda või midagi öelda, ”ütleb Gopala Anumanchipalli, uue uuringu kaasautor ja UCSF-i neuroloogilise kirurgia spetsialiseerunud kaastöötaja. "Me jätame sisuliselt mööda lagunenud rajast."
Teadlased alustasid suure eraldusvõimega ajutegevuse andmetega, mida koguti mitmelt vabatahtlikult viielt vabatahtlikult. Need osalejad - kellel kõigil oli normaalne kõnefunktsioon - läbisid juba epilepsia ravi jälgimisprotsessi, mille käigus implanteeriti elektroodid otse nende aju. Changi meeskond kasutas neid elektroode aktiivsuse jälgimiseks kõnega seotud ajupiirkondades, kuna patsiendid lugesid sadu lauseid.
Sealt edasi töötas UCSF-i meeskond välja kaheetapilise protsessi lausutud lausete taasloomiseks. Esiteks lõid nad dekoodri, et tõlgendada salvestatud aju aktiivsuse mustrit juhistena virtuaalse hääletrakti liikuvatele osadele (sealhulgas huuled, keel, lõualuu ja kõri). Seejärel töötasid nad välja süntesaatori, mis kasutas keele loomiseks virtuaalseid liikumisi.
Teised uuringud on proovinud sõnu ja helisid dekodeerida otse närvisignaalidelt, jättes vahele liikumise dekodeerimise keskmise sammu. UCSF-i teadlaste eelmisel aastal avaldatud uuring viitab aga sellele, et teie aju kõnekeskus keskendub pigem sellele, kuidas liigutada hääletakid helide tekitamiseks, mitte sellele, millised on neist tulenevad helid.
"Kõnekeskuste aju aktiivsuse mustrid on suunatud konkreetselt hääleteede liikumise koordineerimisele ja on ainult kaudselt seotud iseenda kõnesignaalidega, " rääkis Edward Chang, UCSF-i neuroloogilise kirurgia professor ja uue paberi kaasautor, ütles sel nädalal pressibriifingul. "Proovime helide loomiseks sõnaselgelt liigutusi dekodeerida, vastupidiselt helide otsekodeerimisele."
Aju implanteerimiskomplekt intrakraniaalseid elektroode, mida kasutatakse aju aktiivsuse registreerimiseks. (UCSF) Seda meetodit kasutades teadlased muutsid aju aktiivsuse sõnad ja laused edukalt ümber, mis ühtisid laias laastus osalejate kõne helisalvestistega. Kui nad palusid veebipõhisel rahvahulga hankimise platvormil vabatahtlikel proovida sõnu tuvastada ja transkribeerida lauseid sõnapanga abil, said paljud neist mõista simuleeritud kõnet, ehkki nende täpsus polnud kaugeltki täiuslik. 101 sünteesitud lausest transkribeeris umbes 80 protsenti vähemalt üks kuulaja täiuslikult 25-sõnalise panga abil (see sõna langes umbes 60 protsendini, kui sõna panga suurus kahekordistus).
Raske öelda, kuidas neid tulemusi võrreldakse teiste sünteesitud kõnekatsetega, ütles looga seotud neuroloog Marc Slutzky, kes uues uuringus ei osalenud, meilis. Slutzky töötas hiljuti sarnase uuringu kallal, mille käigus sünteesiti sõnad otse ajukooresignaalidest, ilma häälerakti liikumist dekodeerimata. Ta usub, et sellest tulenev kõnekvaliteet oli sarnane - kuigi jõudlusmõõdikute erinevused muudavad otsese võrdluse raskeks.
UCSF-i uuringu üks põnev külg on aga see, et dekooder suudab üldistada osalejatest saadud tulemusi, väidab Slutzky. Seda tüüpi uurimistöö peamine väljakutse on see, et dekoodri algoritmide koolitamine nõuab tavaliselt osalejate rääkimist, kuid see tehnoloogia on mõeldud patsientidele, kes ei saa enam rääkida. Mõne algoritmi väljaõppe üldistamine võimaldaks edasist tööd halvatud patsientidega.
Selle väljakutse lahendamiseks katsetasid teadlased seadet ka osalejaga, kes summutas lauseid vaikselt, selle asemel, et neid valjult välja öelda. Kuigi saadud laused ei olnud nii täpsed, väidavad autorid, et süntees oli võimalik ka ilma hääldatud kõneta.
"Oli tõesti tähelepanuväärne, et suutsime ikkagi helisignaali genereerida toimingult, mis ei genereerinud üldse heli, " ütles UCSF-i uuringu kaasautor ja bioenergeetika kraadiõppur Josh Chartier pressibriifingul .
Pilt uuringu autorist, PhD doktor Gopala Anumanchipalli'lt, kes hoiab näidismaski koljusiseseid elektroode, mida kasutatakse praeguses uuringus aju aktiivsuse registreerimiseks. (UCSF) Teine tulevaste uuringute eesmärk on dekooderi reaalajas tutvustamine, teatas Anumanchipalli. Käesolev uuring oli mõeldud kontseptsiooni tõestuseks - dekooder töötati välja andmekogumisprotsessist eraldi ja meeskond ei testinud ajutegevuse sünteesitud kõneks tõlkimise reaalajas kiirust, ehkki see oleks kliiniline seade.
See reaalajas süntees on midagi, mida tuleb täiustada, et selline seade oleks tulevikus kasulik, väitis uuringuga mitte seotud Stanfordi neurokirurg Jaimie Henderson. Sellegipoolest on tema sõnul autorite kaheastmeline meetod põnev uus lähenemisviis ja sügava õppe tehnoloogia kasutamine võib anda uusi teadmisi kõne toimimise kohta.
“Minu jaoks on väga põnev mõte hakata uurima kõnede tekitamise aluseid inimestes, ” ütleb Henderson. "[See uuring] hakkab uurima meie üht inimlikumat võimekust põhitasandil."
