Auf dem Weg zum Gedankenlesen

Wenn ein Mensch spricht, spiegelt sich das in den elektrischen Signalen seiner Großhirnrinde wider. Mittels Elektroden können diese Signale direkt am Gehirn aufgezeichnet werden. Erstmals ist es einem Forscherteam gelungen, daraus stetig gesprochene Sätze zu rekonstruieren und per Computer als Text wiederzugeben.

Seit etwa einem Jahrzehnt mehren sich die Forschungserfolge hinsichtlich der Spracherkennung aus Aktivitätsmustern des menschlichen Gehirns. In zahlreichen wissenschaftlichen Studien wurde gezeigt, dass sich aus der elektrischen Gehirnaktivität tatsächlich einzelne Laute oder einzelne gedachte oder gesprochene Wörter rekonstruieren lassen. Damit könnte beispielsweise eine Maschine gedanklich gesteuert werden. Ebenso oder um mit ansonsten kommunikationsunfähigen Patienten zu kommunizieren. Dennoch gelang es bisher nicht, auf diese Weise Sätze im Redefluss zu erkennen und sie in Text umzusetzen.

Brain-to-Text

Brain-to-Text. Mittels Elektrokortikographie zeichnen Elektroden direkt an der Großhirnrinde deren Aktivität auf (blaue Kreise). Aus den Aktivitätsmustern (blau/gelb) werden die gesprochenen Wörter rekonstruiert. Bild: CSL/KIT

Brain-to-Text. Mittels Elektrokortikographie zeichnen Elektroden direkt an der Großhirnrinde deren Aktivität auf (blaue Kreise). Aus den Aktivitätsmustern (blau/gelb) werden die gesprochenen Wörter rekonstruiert. Bild: CSL/KIT

Informatikern,Neurowissenschaftlern und Medizinern ist es nun in Zusammenarbeit gelungen, gesprochene Sätze aus der Gehirnaktivität zu rekonstruieren.  Sie forschen am Karlsruher Institut für Technologie und am amerikanischen Wadsworth Center. In ihrer Studie kombinierten sie Signale aus der Hirnrinde mit linguistischem Wissen, Techniken der automatischen Spracherkennung und Algorithmen des maschinellen Lernens. Damit leiteten sie die jeweils wahrscheinlichste Wortfolge ab.

Das Verfahren nennen die Forscher Brain-to-Text und sehen es als wichtigen ersten Schritt hin zur Erkennung gedachter Sprache. In ihrem Forschungsbericht [ 1 ] dokumentieren sie eine Lautfehlerrate von unter 50% und eine Wortfehlerrate von nur 25%.

Brain-to-Text kann nicht nur gesprochene Sprache aus Gehirnsignalen rekonstruieren, sondern mit dem Verfahren können auch die am Sprachprozess beteiligten Gehirnregionen und ihr Zusammenspiel untersucht werden.

Epilepsie-Patienten liefern Aktivitätsmuster

Für die Experimente stellten sich in den USA sieben Epilepsie-Patienten im Rahmen ihrer Behandlung zur Verfügung. Um die Aktivitätsmuster ihrer Gehirne zu messen, wurde den Patienten ein Elektrodennetz auf die Großhirnrinde aufgelegt (Elektrokortikographie, EcoG). Die ECoG-Signale wurden schließlich aufgezeichnet, während die Patienten Beispieltexte laut vorlasen. Die Karlsruher Forscher analysierten die Aufzeichnung und entwickelten auf dieser Grundlage Brain-to-Text.

Technisches Gedankenlesen

Zurzeit arbeitet Brain-to-Text nur mit gesprochener Sprache. Dies ist allerdings ein wesentlicher Schritt hin zur Erkennung gedachter Sprache. Eine weitere Hürde für die allgemeine Alltagstauglichkeit des Verfahrens

ist die Aufzeichnung der Aktivitätsmuster der Großhirnrinde ohne chirurgischen Eingriff am Gehirn.

Die Signale müssen einerseits in schneller Folge aufgezeichnet werden können, sodass alle Signalveränderungen während des Sprechens oder Denkens erfasst werden. Andererseits müssen auch die Entstehungsorte der Signale in der Großhirnrinde genau genug bestimmt werden können. Mit heutigen medizintechnischen Messverfahren, die die Gehirnsignale außerhalb des Kopfes erfassen, ist dies noch nicht möglich. Technologische Ansätze in dieser Richtung werden bereits angewendet, etwa die Magnetoenzephalographie oder die funktionelle Magnetresonanztomographie.

Das Brain-to-Text-Verfahren im Überblick. Grafik: [ 1 ]

Das Brain-to-Text-Verfahren im Überblick. Grafik: [ 1 ]

Nebenwirkungen?

Wenn für Brain-to-Text irgendwann fortgeschrittene Technologien zur Verfügung stehen, kann das offensichtlich auch unerwünschte Anwendungen nach sich ziehen: Dann lassen sich mit dem ausgereiften Verfahren die Gedanken auch unbefugt ausspionieren.

Siehe auch den Blog-Beitrag: Kopfkino im Labor: Gehirndekodierung und Gedankenlesen.

Links

[ 1 ] Christian Herff, Dominic Heger, Adriana de Pesters, Dominic Telaar, Peter Brunner, Gerwin Schalk und Tanja Schultz: Brain-to-text: decoding spoken phrases from phone representations in the brain. Frontiers in Neuroscience, 9:217, 12 June 2015. doi: 10.3389/fnins.2015.00217
http://journal.frontiersin.org/article/10.3389/fnins.2015.00217/abstract

Karlsruher Institut für Technologie
http://www.kit.edu

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>