Neues KI-Sprachmodell spiegelt räumliche Organisation im Gehirn wider

Studien zum Sprachverstehen haben zum Beispiel gezeigt, dass es Cluster von Neuronen gibt, die sich auf Verben spezialisieren, während andere Cluster Nomen bevorzugen. Doch wie genau sich diese Cluster bilden, ist bislang ein Rätsel. Bisherige KI-Sprachmodelle konnten solche funktionellen Cluster erfolgreich abbilden, haben jedoch nicht berücksichtigt, wie diese im Gehirn räumlich angeordnet sind.

Jetzt haben Forschende des NeuroAI-Labors – das sowohl zur Fakultät für Computer- und Kommunikationswissenschaften (IC) als auch zur Fakultät für Lebenswissenschaften (SV) der EPFL gehört – ein neues Sprachmodell namens TopoLM entwickelt. Es bildet nicht nur die funktionelle Organisation von Neuronen nach, sondern zum ersten Mal auch deren räumliche Anordnung im Gehirn.

"Wir haben auf Erkenntnissen aus der visuellen Verarbeitung im Gehirn aufgebaut und relativ kleine Änderungen an der internen Organisation eines Sprachmodells vorgenommen. Dabei haben wir eine Regel eingeführt, die die internen Repräsentationen des Modells dazu bringt, dass benachbarte 'Units' (die internen Bausteine des Sprachmodells) ähnliche Funktionen übernehmen. Das Ergebnis ist TopoLM,ein Modell, dessen Units sich zu räumlich-geordneten Clustern zusammenfügen, die funktionell dem entsprechen, was wir im menschlichen Gehirn bei der Sprachverarbeitung beobachten", erklärt Martin Schrimpf, Assistenzprofessor und Leiter des NeuroAI-Labors.

In ihrer Publikation "TopoLM: Brain-Like Spatio-Functional Organization in a Topographic Language Model", die zu den weniger als 2 Prozent der Beiträge gehört, die für einen mündlichen Vortrag auf der diesjährigen ICLR 2025 (International Conference on Learning Representations) ausgewählt wurden, beschreiben die Forschenden, wie TopoLM erfolgreich vorhersagt, wie sich das Sprachsystem in der Grosshirnrinde – also der äusseren Schicht des Gehirns – in seiner räumlich-funktionellen Organisation entwickelt. "Diese Forschung war Grundlagenarbeit, um besser zu verstehen, wie funktionelle oder räumliche Cluster im Gehirn überhaupt entstehen. Unser Modell legt nahe, dass eine simple Regel genügen könnte: dass benachbarte Neuronen dazu tendieren, sich ähnlich zu verhalten", betont Schrimpf.

TopoLM bietet eine neue Grundlage, um die Ähnlichkeit zwischen künstlicher Intelligenz und menschlicher Kognition zu verbessern. Dies eröffnet Perspektiven für Computerarchitekturen, die von der Struktur und Funktion des Gehirns inspiriert sind, sowie für Anwendungen in der Neurolinguistik. "Das ist ein spannender Schritt hin zu KI-Systemen, die dem menschlichen Gehirn strukturell näherkommen. Eines unserer übergeordneten Ziele ist es, bessere Modelle des Gehirns zu bauen. Mit TopoLM sind wir diesem Ziel näher gekommen. In Zukunft könnten daraus sogar klinische Anwendungen entstehen, etwa zur Unterstützung bei Sprachstörungen", hält Badr Al-Khamissi, Doktorand im NeuroAI-Labor und in der NLP-Gruppe der Fakultät IC sowie Mitautor der Studie, dazu fest.

Die Arbeit liefert auch wichtige Erkenntnisse im Bereich der Interpretierbarkeit, also darüber, wie wir überhaupt verstehen können, was in komplexen Sprachmodellen passiert. Normalerweise bestehen solche Modelle aus unzähligen mathematischen Repräsentationen, sogenannten Vektoren, die mit den künstlichen "Neuronen" verknüpft sind. Um zu verstehen, was das Modell gelernt hat, müsste man jeden dieser Vektoren einzeln analysieren, eine fast unlösbare Aufgabe.

TopoLM jedoch bringt Ordnung ins Chaos: Durch die räumliche Struktur seiner Units entstehen sinnvolle Cluster, die es deutlich einfacher machen, die internen Repräsentationen zu interpretieren. Die Struktur des Modells selbst spiegelt also bereits linguistisch interpretierbare Kategorien, wie z.B. Verben und Nomen, wider.

Das Team an der EPFL will im Rahmen dieser Forschung an der Grenze zwischen Neurowissenschaft und Informatik die Vorhersagen des Modells nun im menschlichen Gehirn testen. "Das Modell funktioniert überraschend gut, besser, als wir erwartet hatten. Nun wollen wir wissen, ob seine Vorhersagen auch wirklich zutreffen. Im Modell gibt es Cluster, die wir im menschlichen Gehirn bislang noch gar nicht gesehen haben – einfach, weil noch niemand gezielt nach ihnen gesucht hat. Gemeinsam mit Kolleg:innen in den USA wollen wir in neuen Bildgebungsstudien untersuchen, ob diese Cluster tatsächlich im Menschen existieren", schliesst Schrimpf.

Badr AlKhamissi, Neil Rathi und Johannes Mehrer arbeiteten gemeinsam mit Martin Schrimpf an der Entwicklung des TopoLM-Modells.
Das NeuroAI-Labor ist Teil des Neuro-X-Instituts der EPFL – einer interdisziplinären Gemeinschaft, die Teams aus den Bereichen Computer- und Kommunikationswissenschaften, Lebenswissenschaften und Ingenieurwesen vereint.