Automatische Affekterkennung

Soziale Interaktionen zwischen Menschen stützen sich zu einem großen Teil auf nonverbale Signale wie Mimik, Stimme, Blickverhalten, Kopfbewegungen und physiologische Reaktionen. Um diese Signale unter standardisierten und dennoch realistischen Bedingungen zu untersuchen, haben wir zwei Paradigmen entwickelt: den Berlin Emotion Recognition Test (BERT), eine computergestützte Aufgabe zur Bewertung der Emotionserkennung; und den Simulated Interaction Task (SIT), ein standardisiertes Paradigma für soziale Interaktion zur Erfassung nonverbalen Verhaltens.

Anhand der aus diesen Paradigmen gewonnenen Daten entwickeln wir multimodale Methoden des maschinellen Lernens zur Analyse von sozialem Interaktionsverhalten und affektbezogenen Signalen. Unsere Arbeit konzentriert sich auf die Integration verschiedener Modalitäten, darunter Mimik, Stimme, Blick, Bewegungsmuster und Physiologie, sowie auf die Identifizierung interpretierbarer Verhaltensmuster, die mit Unterschieden in der sozialen Kommunikation assoziiert sind. Dies umfasst Forschung zu Erkrankungen wie Autismus-Spektrum-Störungen, sozialen Angststörungen, Aufmerksamkeitsdefizit-Hyperaktivitätsstörungen (ADHS) und depressiven Störungen.

Über die automatisierte Analyse hinaus entwickeln wir auch Werkzeuge, um multimodale Verhaltensdaten besser interpretierbar und klinisch nutzbar zu machen, beispielsweise durch interaktive Visualisierung und erklärbare KI-Ansätze.

Diese Forschung wurde im Zeitraum vom 01.12.2020 – 30.11.2024 durch das Drittmittel „Empathische Künstliche Intelligenz“ (EKI), FKZ 01IS20046 gefördert.

Entwicklung

Um eine sensitive Aufgabe zu entwickeln, wurden die Bilder aus Videoclips extrahiert, in denen professionelle Schauspieler*innen die Zielemotionen ausdrückten. Die Schauspieler*innen waren mit emotionalen Skripten (z. B. stellen Sie sich vor, Sie erhalten ein unerwartetes Geschenk) angewiesen worden, die Gesichtsausdrücke auszuführen, beginnend mit einem neutralen Ausdruck. Dies führte zu einem eher naturalistischen Material. Aus jedem Videoclip wurden Frames mit drei verschiedenen Intensitäten extrahiert. Diese Bilder von mimischen Emotionsausdrücken bildeten den Item-Pool für den BERT. Dieser Pool wurde in einer Vorstudie bei einem Tag der offenen Tür in Berlin, Deutschland, wo große wissenschaftliche Einrichtungen ihre Türen für die Öffentlichkeit öffnen, auf die empfindlichsten Items reduziert. In dieser Vorstudie mit einer Zufallsstichprobe wurden 46 Teilnehmer*innen gebeten, die Emotion jedes der Items zu erkennen. Jedes Bild wurde mit den sechs Grundemotionen als mögliche Antworten präsentiert. Basierend auf ihren Antworten wählten wir für jeden Videoclip das Bild aus, das am besten zwischen Teilnehmer*innen mit niedriger und hoher Punktzahl diskriminierte. Zusätzlich identifizierten wir für jedes Item den schwierigsten Distraktor aus den fünf falschen Emotionsbezeichnungen. In einer anschließenden Online-Studie [3] mit 436 Teilnehmer*innen wurden die ausgewählten Bilder und Distraktoren getestet und in Bezug auf Reliabilität und Trennschärfe weiter verbessert, indem die besten acht Items pro Emotion und schwierigstem Distraktor ausgewählt wurden.

Orientierungswerte und Normierung

Zur Einordnung der BERT-Ergebnisse liegen bereits erste Vergleichswerte vor:

In einer ersten Studie [4] zeigten neurotypische Teilnehmende im Mittel 79 % korrekte Antworten, Teilnehmende mit Autismus-Spektrum-Störung (ASC) 73 %. Die mittleren Reaktionszeiten lagen bei 2832 ms für die neurotypische Gruppe und 4100 ms für die ASC-Gruppe. Diese Zahlen sind jedoch mit Vorsicht zu interpretieren, da der BERT in dieser Studie mit einer zusätzlichen Imitationsaufgabe kombiniert wurde, die die Werte für Emotionserkennung dadurch insgesamt verschlechterte.

Eine neuere Untersuchung [5] mit größerer Stichprobe und ohne zusätzliche Imitationsaufgabe bietet aktuell eine bessere erste Orientierung: hier lagen die mittleren Erkennungsleistungen bei 87,82 % für die neurotypische Gruppe und 80,85 % für die ASC-Gruppe; die mittleren Reaktionszeiten betrugen 2505 ms (neurotypisch) beziehungsweise 2963 ms (ASC).
Hierbei stellen die Werte jedoch noch keine validierten Normwerte aus einer großen Referenzstichprobe dar, sondern sollten lediglich als vorläufige Orientierung genutzt werden.

Eine größere Normierungsstudie, in der anonymisierte Daten aus Praxen und Einrichtungen einbezogen werden können, ist derzeit in Planung.
Falls Sie Interesse haben, zur Normierungsstudie beizutragen, melden Sie sich gern bei uns unter hanna.drimalla@uni-bielefeld.de 

Literaturhinweise

[1] Ekman P, Friesen WV. Constants across cultures in the face and emotion. Journal of Personality and Social Psychology 1971; 17(2): 124–9 [https://doi.org/10.1037/h0030377]

[2] Kliemann D, Rosenblau G, Bölte S, Heekeren HR, Dziobek I. Face puzzle—two new video-based tasks for measuring explicit and implicit aspects of facial emotion recognition. Front. Psychol. 2013; 4: 376.

[3] Drimalla H, Kirst S, Dziobek I. Insights about Emotion Recognition by BERT and ERNIE (two new psychological tests) Manuscript in preparation.

[4] Drimalla, H., Baskow, I., Behnia, B., Roepke, S., & Dziobek, I. (2021). Imitation and recognition of facial emotions in autism: a computer vision approach. Molecular autism, 12(1), 27.

[5] Kirsch, S., Drimalla, H., Saakyan, W., Sajonz, B. E. A., Gritzmann, J., Maier, S., ... & van Elst, L. T. (2026). Reduced task adaptation and contextual awareness in autistic adults during facial emotion recognition: evidence from mixed-effects modeling and automated facial analysis. Molecular autism, 17(1), 16.