Reti neurali per decodificare l’attività cerebrale legata alla produzione verbale

Un algoritmo di interpretazione automatica che può decodificare l’attività neurale e tradurla in frasi con elevati livelli di accuratezza è descritto in un recente articolo, apparso sulla rivista Nature Neuroscience.

Le interfacce cervello-macchina hanno avuto un successo limitato nella decodifica dall’attività neurale collegata alla produzione della parola. La loro precisione rimane molto al di sotto di quella del discorso naturale. Le precedenti interfacce cervello-macchina potevano solo decodificare frammenti di parole pronunciate o meno del 40% delle parole nelle frasi pronunciate.

La traduzione automatica dell’attività cerebrale

Joseph Makin e colleghi hanno esaminato i recenti progressi nella traduzione automatica e hanno utilizzato questi approcci per addestrare reti neurali ricorrenti per mappare i segnali neurali e metterli direttamente in relazione alle frasi pronunciate.

Quattro partecipanti, a cui erano stati impiantati elettrodi intracranici per il monitoraggio delle crisi comiziali, hanno letto frasi ad alta voce, mentre gli elettrodi hanno registrato la loro attività neurale. L’attività del tessuto nervoso è stata quindi immessa in una rete neurale ricorrente, che ha creato una rappresentazione delle caratteristiche neuronali che si verificano regolarmente pronunciando una specifica frase. Questa rappresentazione è quindi correlata a caratteristiche ripetute del discorso, come vocali, consonanti o comandi a parti della bocca. Un’altra rete neurale ricorrente ha quindi decodificato questa rappresentazione parola per parola per formare una frase.

Dall’attivazione neurale alla pronuncia di una frase

Gli autori hanno scoperto inoltre che le regioni del cervello che hanno fortemente contribuito alla decodifica del parlato erano anche coinvolte nella produzione e nella percezione del parlato.

Questo approccio di traduzione automatica ha decodificato l’attività neurale legata alle frasi pronunciate con un tasso di errore simile a quello della trascrizione vocale di livello professionale.

Inoltre, quando le reti ricorrenti sono state pre-addestrate sull’attività neurale e sul parlato di una persona, prima dell’allenamento su un altro partecipante, i risultati della decodifica sono migliorati. Questo suggerisce che un’attività di pre-addestramento delle reti può consentire un trasferimento del sistema ad altre persone.

Gli autori avvertono peraltro che saranno necessarie ulteriori ricerche per studiare più a fondo le capacità di questo sistema e per espandere la decodifica oltre il linguaggio circoscritto dello studio.

 

 

0 commenti

Lascia un Commento

Vuoi partecipare alla discussione?
Sentitevi liberi di contribuire!

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

16 + otto =