Kunnen we straks gedachten lezen? Nieuwe studie decodeert beelden van hersenactiviteit om woorden - en betekenis - te extraheren

Vanuit technologisch oogpunt wordt het steeds realistischer om je voor te stellen de gedachten van mensen te ontcijferen. Voor het eerst waren neurowetenschappers in staat om niet-invasieve beeldvormingsgegevens uit de hersenen van drie deelnemers te "decoderen" om woordreeksen en de algehele betekenis van verhalen die deelnemers hadden gehoord, bekeken of ingebeeld, te reconstrueren.

In deze nieuwe studie, gepubliceerd in Nature Neuroscience, slaagden Alexander Huth en zijn collega's van de Universiteit van Texas erin om de algemene betekenis en ook zinnen te extraheren uit beelden van hersenactiviteit verkregen door functionele magnetische resonantie beeldvorming (of functionele MRI).

Decodeer de taal

Het synthetiseren van woorden door middel van hersensignalen kan erg handig zijn voor mensen die geen toegang hebben tot spraak vanwege ziekten zoals aandoeningen van motorneuronen, die de neuronen beïnvloeden die de vrijwillige bewegingen van het lichaam beheersen. Dit onderzoek roept ook vragen op over het bestaan ​​van ons meest intieme privéleven, dat van onze gedachten.

de taaldecoderingspatronen, of "spraakdecoders", proberen opnames van hersenactiviteit te gebruiken om de woorden af ​​te leiden die proefpersonen horen, zeggen of zich voorstellen.

Tot nu toe zijn taaldecoders alleen gebruikt voor gegevens die zijn verkregen van apparaten die in de hersenen zijn geïmplanteerd, wat hun bruikbaarheid beperkt. En tot nu toe hebben decoders die niet-invasieve opnames van hersenactiviteit gebruiken, afzonderlijke woorden of zeer korte zinnen gedecodeerd, maar zijn ze niet toegepast om betekenis uit continue spraak te extraheren.

in deze nouvelle étude, is het een heel specifiek signaal van functionele MRI dat is uitgebuit: dit signaal hangt af van de bloedstroom in de hersenen en het zuurstofniveau van het bloed.

Door zich te concentreren op hersenactiviteit in hersengebieden en in neurale netwerken waarvan bekend is dat ze taal verwerken, toonden de onderzoekers aan dat hun decoder getraind kon worden om continue spraak te reconstrueren, inclusief specifieke woorden maar ook de betekenis van meer volledige zinnen.

De decoder gebruikte de hersenreacties van drie deelnemers die waren opgenomen terwijl ze naar verhalen luisterden, en het genereerde reeksen woorden die de geregistreerde hersenactiviteit hadden kunnen produceren. Deze woordreeksen gaven het algemene idee van het verhaal vrij goed weer, en bevatten in sommige gevallen zelfs exacte woorden of zinsdelen.

In de functionele MRI-scanner werden deelnemers ook geleid om stomme films te kijken en zich de bijbehorende verhalen voor te stellen. In beide gevallen kon de decoder de meeste verhalen voorspellen.

Een deelnemer dacht bijvoorbeeld "Ik heb mijn rijbewijs niet gehaald" (Ik heb mijn rijbewijs nog niet), en de decoder voorspelde "Ze heeft nog niet eens leren autorijden" (Ze is nog niet eens begonnen met leren autorijden).

Bovendien, wanneer deelnemers actief naar één verhaal moesten luisteren terwijl ze een simulcast tweede verhaal negeerden, kon de decoder alleen het eerste plot identificeren.

Hoe het werkt ?

Eerst vroegen de wetenschappers de deelnemers om 16 uur in een functionele MRI-scanner door te brengen, waar ze luisterden naar voorgelezen verhalen terwijl hun hersenactiviteiten werden vastgelegd.

Deze hersenreacties werden gebruikt om een ​​"encoder" te trainen, een computermodel dat voorspelt hoe de hersenen reageren op woorden die door de deelnemer worden gehoord. Na deze training kan de encoder met grote nauwkeurigheid voorspellen waar de hersenen van elke deelnemer op zouden reageren bij het luisteren naar een reeks bepaalde woorden.

Maar de andere kant op gaan, namelijk een reeks woorden uit hersenactiviteit halen, is veel moeilijker.

Het encodermodel is inderdaad ontworpen om hersenactiviteiten en "semantische elementen" of de algemene betekenis van woorden of zinnen met elkaar in verband te brengen. Om dit te bereiken, gebruikt het systeem de "GPT" taalmodel, voor generatieve voorgetrainde transformator, de voorloper van de huidige GPT-4. De decoder genereert vervolgens de reeks woorden die de waargenomen cerebrale respons hadden kunnen veroorzaken.

De juistheid van elke decodervoorspelling wordt gecontroleerd door deze te gebruiken om de overeenkomstige hersenactiviteit te berekenen. Deze hersenactiviteit die door de decoder wordt voorspeld, wordt vervolgens vergeleken met wat daadwerkelijk is geregistreerd.

Tijdens dit proces, dat veel computerbronnen in beslag neemt, worden veel voorspellingen één voor één gegenereerd, en ze worden geclassificeerd op basis van hun nauwkeurigheid: de ongepaste voorspellingen worden geëlimineerd, de meest nauwkeurige blijven behouden. Vervolgens wordt het volgende woord in de reeks voorspeld, totdat de meest correcte reeks is bepaald.

woorden en betekenis

De nieuwe studie toont aan dat, om het voorspellingsproces uit te voeren, gegevens uit meerdere hersengebieden nodig waren. Deze regio's zijn divers maar zeer specifiek: het zijn het spraaknetwerk, het pariëtale/temporale/occipitale associatiegebied en de prefrontale cortex.

Een groot verschil tussen dit werk en eerdere studies is het type gegevens dat wordt gebruikt. De meeste decoders koppelen inderdaad gegevens uit hersengebieden die betrokken zijn bij de laatste fase van spraakvorming, namelijk mond- en tongbewegingen. Deze decoder werkt op een ander niveau, op ideeën en de betekenis van gedachten.

Een van de beperkingen van functionele MRI-gegevens is hun lage "temporele resolutie". Inderdaad, het bloedoxygenatiesignaal stijgt en daalt in ongeveer 10 seconden, een periode waarin we ongeveer twintig woorden of meer horen. Daarom detecteert deze techniek geen individuele woorden, maar de waarschijnlijke betekenis van woordreeksen.

We raken niet in paniek (nog niet)

Het idee dat we gedachten kunnen lezen roept natuurlijk zorgen op over het bestaan ​​van ons meest intieme privéleven, wat er in ons hoofd omgaat. De onderzoekers voerden aanvullende experimenten uit om de mogelijkheden van de techniek te verduidelijken.

Deze experimenten laten zien dat we ons nog steeds geen zorgen hoeven te maken dat onze gedachten worden gelezen als we over straat lopen, of als we niet willen meewerken.

Inderdaad, een decoder die is getraind op de hersengegevens van de ene persoon, voorspelt slecht semantische elementen uit de hersengegevens van een andere persoon. Bovendien kunnen deelnemers de decoderingstaak bemoeilijken door hun aandacht op een andere taak te richten, zoals het benoemen van dieren of het vertellen van een ander verhaal.

Ook werkt de decoder niet goed als deelnemers in de functionele MRI-scanner bewegen, omdat dit een zeer bewegingsgevoelige beeldvormingstechniek is. De medewerking van de deelnemers is hierbij essentieel.

Met deze technische beperkingen, naast de behoefte aan zeer krachtige computers om de decoder aan te sturen, is het in dit stadium zeer onwaarschijnlijk dat iemands gedachten in dit stadium tegen hun wil kunnen worden gedecodeerd.

Ten slotte werkt de decoder momenteel alleen met gegevens die zijn verkregen door functionele MRI, wat een kostbare en vaak lastige techniek is om te implementeren. De onderzoeksgroep wil deze methode testen met data van andere niet-invasieve hersenbeeldvormingstechnologieën.

Christina Maher, biomedisch ingenieur en neurowetenschapper, Universiteit van Sydney

Dit artikel is opnieuw gepubliceerd vanaf The Conversation onder Creative Commons-licentie. Lees deorigineel artikel.

Afbeelding tegoed: Shutterstock / ORION-PRODUCTIE