Neuronale Dekodierung von Musik anhand des EEG
20.01.2023 Eine neue Technik zur Beobachtung von Gehirnwellen kann die Musik identifizieren, die jemand hört.
Forscher der Universität Essex hoffen, dass das Projekt dazu führen könnte, Menschen mit schweren Kommunikationsstörungen wie dem Locked-in-Syndrom oder Schlaganfallpatienten zu helfen, indem die Sprachsignale in ihren Gehirnen durch nichtinvasive Techniken entschlüsselt werden.
Dr. Ian Daly von der School of Computer Science and Electronic Engineering der Universität Essex, der das Forschungsprojekt leitete, sagte: „Diese Methode hat viele potenzielle Anwendungsmöglichkeiten. Wir haben gezeigt, dass wir Musik entschlüsseln können, wodurch wir eines Tages in der Lage sein könnten, Sprache aus dem Gehirn zu entschlüsseln“.
Die Wissenschaftler aus Essex wollten einen weniger invasiven Weg finden, akustische Informationen aus Signalen im Gehirn zu dekodieren, um ein Musikstück, das jemand hört, zu identifizieren und zu rekonstruieren.
Zwar gab es bereits erfolgreiche Studien zur Erfassung und Rekonstruktion akustischer Informationen aus Hirnströmen, aber viele davon verwendeten invasivere Methoden wie die Elektrokortiographie (EKoG), bei der Elektroden im Schädel angebracht werden, um die Oberfläche des Gehirns zu überwachen.
Die in der Fachzeitschrift Scientific Reports veröffentlichte Studie verwendete eine Kombination aus zwei nicht-invasiven Methoden – der MRT, die den Blutfluss im gesamten Gehirn misst, und dem Elektroenzephalogramm (EEG), das die Vorgänge im Gehirn in Echtzeit erfasst -, um die Gehirnaktivität einer Person zu überwachen, während sie ein Musikstück hört. Mithilfe eines Deep-Learning-Modells für neuronale Netze wurden die Daten übersetzt, um das Musikstück zu rekonstruieren und zu identifizieren.
Musik ist ein komplexes akustisches Signal, das viele Ähnlichkeiten mit der natürlichen Sprache aufweist, so dass das Modell möglicherweise auch für die Übersetzung von Sprache angepasst werden könnte. Das eigentliche Ziel dieses Forschungsstrangs wäre die Übersetzung von Gedanken, was in Zukunft eine wichtige Hilfe für Menschen sein könnte, die Schwierigkeiten haben zu kommunizieren, wie beispielsweise Menschen mit dem Locked-in-Syndrom.
Für die Forschung wurden fMRT- und EEG-Daten wiederverwendet, die ursprünglich im Rahmen eines Projekts an der Universität Reading erhoben wurden. Bei diesem Projekt hörten die Teilnehmer eine Reihe von 40-sekündigen Stücken einfacher Klaviermusik aus einer Reihe von 36 Stücken, die sich in Tempo, Tonhöhe, Harmonie und Rhythmus unterschieden. Unter Verwendung dieser kombinierten Datensätze konnte das Modell das Musikstück mit einer Erfolgsquote von 71,8 % genau identifizieren.
© Psylex.de – Quellenangabe: Sci Rep 13, 624 (2023). https://doi.org/10.1038/s41598-022-27361-x