Hirn kann natürliche Stimmen von Deepfake-Stimmen unterscheiden

Jeder Mensch hat ein einzigartiges Stimmprofil, so die Forscher. Dies helfe, eine Person zu identifizieren. Neueste Algorithmen zur Stimmsynthese sieien inzwischen so leistungsfähig, dass sie künstliche Stimmklone erstellen könnten, die den Identitätsmerkmalen natürlicher Sprecher qualitativ sehr nahekommen. Noch nie war es demnach so leicht, mit Deepfake-Technologien natürliche Stimmen zu imitieren, entweder für Betrugsversuche am Telefon oder um dem Sprachassistenten die Stimme der Lieblingsschauspielerin zu geben.

Bisher sei jedoch unklar gewesen, wie das menschliche Gehirn auf solche Deepfake-Stimmen reagiert. Ob er diese als echt akzeptiert oder es den Fake erkennt? Das Forschungsteam an der Universität Zürich hat nun herausgefunden, dass Menschen die geklaute Identität in einem Deepfake-Audio zwar häufig als natürlich akzeptieren, das Gehirn auf Deepfake-Stimmen jedoch anders reagiert als auf natürliche Stimmen.

Die Wissenschaftler testeten zunächst mit psychoakustischen Methoden, wie gut die menschliche Identität in den imitierten Stimmklonen erhalten bleibt. Die Forschenden nahmen die Stimmen vier männlicher Sprecher auf und generierten mit Hilfe von Computeralgorithmen Deepfake-Stimmen dieser Sprecher. Im Hauptexperiment hörten 25 Probandinnen und Probanden mehrere Stimmen und sollten entscheiden, ob die Identität zweier Stimmen identisch war oder nicht. Dabei gab es zwei Aufgaben: Entweder sollten sie die Identität von zwei natürlichen Stimmen oder einer natürlichen und einer Deepfake-Stimme abgleichen.

Dabei zeigte sich, dass die Deepfake-Identitäten in zwei Dritteln der Fälle korrekt zugeordnet wurden. "Dies verdeutlicht, dass aktuelle Deepfake-Stimmen zwar nicht perfekt die Identität imitieren, aber das Potential haben, die Wahrnehmung von Menschen zu täuschen", sagt Claudia Roswandowitz, Post-Doc am Institut für Computerlinguistik.

Mit Hilfe von bildgebenden Verfahren untersuchten die Forschenden dann, welche Gehirnareale abweichend auf Deepfake-Stimmen im Vergleich zu natürlichen Stimmen reagieren. Dabei machten sie zwei zentrale Areale ausfindig, die den Fake erkennen: Zum einen reagiert ein Teil des mesolimbischen Systems, der Nucleus Accumbens, anders auf Deepfake-Stimmen. "Der Nucleus Accumbens ist ein wichtiger Bestandteil des Belohnungssystems im Gehirn. Er war weniger aktiv, als die Probandinnen und Probanden die Identität zwischen Deepfake und natürlichen Stimmen abgleichen sollten»", erläutert Roswandowitz. Viel aktiver war hingegen der Nucleus Accumbens, wenn die Probanden zwei natürliche Stimmen vergleichen mussten.

Das zweite Hirnareal, das in dem Experiment bei den Versuchsteilnehmenden aktiv war, scheint auf die akustische Differenz zwischen natürlicher und Deepfake-Stimme zu reagieren: Der auditorische Cortex, zuständig für die Analyse von Geräuschen, war aktiver, als es die Identität zwischen Deepfake und natürlicher Stimme abzugleichen galt. "Wir vermuten, dass dieses Areal auf die noch nicht perfekte akustische Imitation der 'Deepfake'-Stimmen reagiert und versucht, das fehlende akustische Signal auszugleichen", hält die Erstautorin fest. Je weniger natürlich und sympathisch die gefälschte Stimme im Vergleich zu ihrem natürlichen Gegenstück wahrgenommen wurde, desto grösser waren die Aktivitätsunterschiede im auditorischen Cortex.

Der Fake-Anteil in den Deepfake-Stimmen scheint zu weniger Vergnügen beim Hören zu führen, und das relativ unabhängig von der Qualität des akustischen Signals. "Der Mensch kann also nur teilweise durch Deepfakes getäuscht werden. Besonders die neuronalen Mechanismen, die bei der Verarbeitung von Deepfakes identifiziert wurden, verdeutlichen die menschliche Widerstandsfähigkeit gegenüber gefälschten Informationen, die uns im Alltag immer häufiger begegnen", folgert Roswandowitz.