Gehirnaktivitäts-Decoder kann Geschichten in den Köpfen von Menschen offenbaren

AUSTIN, Texas – Ein neues künstliches Intelligenzsystem namens Semantic Decoder kann die Gehirnaktivität einer Person – während sie einer Geschichte zuhört oder sich im Stillen vorstellt, eine Geschichte zu erzählen – in einen kontinuierlichen Textstrom übersetzen. Das von Forschern der University of Texas in Austin entwickelte System könnte Menschen, die geistig bei Bewusstsein sind, aber nicht in der Lage sind, körperlich zu sprechen, wie beispielsweise Menschen, die durch Schlaganfälle geschwächt sind, dabei helfen, wieder verständlich zu kommunizieren.

Die in der Fachzeitschrift Nature Neuroscience veröffentlichte Studie wurde von Jerry Tang, einem Doktoranden der Informatik, und Alex Huth, einem Assistenzprofessor für Neurowissenschaften und Informatik an der UT Austin, geleitet. Die Arbeit basiert teilweise auf einem Transformatormodell, ähnlich denen, die ChatGPT von Open AI und Bard von Google antreiben.

Im Gegensatz zu anderen in der Entwicklung befindlichen Sprachdekodierungssystemen erfordert dieses System keine chirurgischen Implantate für die Probanden, sodass der Prozess nichtinvasiv ist. Die Teilnehmer müssen auch nicht nur Wörter aus einer vorgeschriebenen Liste verwenden. Die Gehirnaktivität wird mit einem fMRT-Scanner gemessen, nachdem der Decoder umfassend trainiert wurde, wobei die Person stundenlang Podcasts im Scanner hört. Wenn der Teilnehmer später bereit ist, seine Gedanken zu entschlüsseln, kann er durch das Anhören einer neuen Geschichte oder die Vorstellung, eine Geschichte zu erzählen, allein aus der Gehirnaktivität den entsprechenden Text generieren.

„Für eine nichtinvasive Methode ist dies ein echter Fortschritt im Vergleich zu dem, was bisher durchgeführt wurde und bei dem es sich typischerweise um einzelne Wörter oder kurze Sätze handelt“, sagte Huth. „Wir bringen das Modell dazu, kontinuierliche Sprache über längere Zeiträume mit komplizierten Ideen zu dekodieren.“

Lesen Sie mehr in der New York Times: KI wird beim Gedankenlesen immer besser

Das Ergebnis ist kein Wort-für-Wort-Transkript. Stattdessen haben Forscher es so konzipiert, dass es den Kern dessen, was gesagt oder gedacht wird, erfasst, wenn auch unvollkommen. Etwa in der Hälfte der Fälle, wenn der Decoder darauf trainiert wurde, die Gehirnaktivität eines Teilnehmers zu überwachen, erzeugt die Maschine Text, der der beabsichtigten Bedeutung der Originalwörter sehr nahe kommt (und manchmal sogar genau).

Beispielsweise wurden in Experimenten die Gedanken einer Teilnehmerin, die einem Redner zuhörte und sagte: „Ich habe noch keinen Führerschein“, übersetzt als: „Sie hat noch nicht einmal angefangen, Autofahren zu lernen.“ Als ich die Worte hörte: „Ich wusste nicht, ob ich schreien, weinen oder weglaufen sollte. Stattdessen sagte ich: ‚Lass mich in Ruhe!‘“, wurde entschlüsselt als: „Begann zu schreien und zu weinen, und dann sagte sie nur: ‚‘ Ich habe dir gesagt, du sollst mich in Ruhe lassen.‘“

Ausgehend von einer früheren Version des Papiers, die als Vorabdruck online erschien, beschäftigten sich die Forscher mit Fragen zum möglichen Missbrauch der Technologie. Der Artikel beschreibt, dass die Decodierung nur mit kooperativen Teilnehmern funktionierte, die bereitwillig an der Schulung des Decoders teilgenommen hatten. Ergebnisse für Personen, an denen der Decoder nicht trainiert worden war, waren unverständlich, und wenn Teilnehmer, an denen der Decoder trainiert worden war, später Widerstand leisteten – zum Beispiel indem sie andere Gedanken dachten – waren die Ergebnisse ebenfalls unbrauchbar.

„Wir nehmen die Bedenken, dass es für schlechte Zwecke missbraucht werden könnte, sehr ernst und haben daran gearbeitet, dies zu vermeiden“, sagte Tang. „Wir wollen sicherstellen, dass Menschen diese Art von Technologien nur dann nutzen, wenn sie es wollen und dass es ihnen hilft.“

Die Forscher ließen die Teilnehmer nicht nur zuhören oder über Geschichten nachdenken, sondern forderten die Probanden auch auf, sich vier kurze, stumme Videos anzusehen, während sie sich im Scanner befanden. Der semantische Decoder konnte ihre Gehirnaktivität nutzen, um bestimmte Ereignisse aus den Videos genau zu beschreiben.

Das System ist derzeit für den Einsatz außerhalb des Labors nicht praktikabel, da es auf den Zeitbedarf eines fMRT-Geräts angewiesen ist. Die Forscher glauben jedoch, dass diese Arbeit auf andere, tragbarere Bildgebungssysteme für das Gehirn übertragen werden könnte, beispielsweise auf die funktionelle Nahinfrarotspektroskopie (fNIRS).

„fNIRS misst, wo zu verschiedenen Zeitpunkten mehr oder weniger Blutfluss im Gehirn herrscht, was, wie sich herausstellt, genau die gleiche Art von Signal ist, die fMRT misst“, sagte Huth. „Unser genauer Ansatz sollte sich also auf fNIRS übertragen lassen“, obwohl, wie er anmerkte, die Auflösung mit fNIRS geringer wäre.

Diese Arbeit wurde von der Whitehall Foundation, der Alfred P. Sloan Foundation und dem Burroughs Wellcome Fund unterstützt.

Die weiteren Co-Autoren der Studie sind Amanda LeBel, eine ehemalige Forschungsassistentin im Huth-Labor, und Shailee Jain, eine Informatik-Doktorandin an der UT Austin.

Alexander Huth und Jerry Tang haben eine PCT-Patentanmeldung für diese Arbeit eingereicht.

Weitere Informationen zum Projekt finden Sie in der vollständigen Pressemitteilung der Hochschule für Naturwissenschaften.

Medienkontakt

Verfügbar zur Wiederverwendung mit entsprechender Quellenangabe an die University of Texas at Austin oder andere kreditwürdige Organisationen.