Automatische Affekterkennung

Soziale Interaktionen zwischen Menschen stützen sich zu einem großen Teil auf nonverbale Signale wie Mimik, Stimme, Blickverhalten, Kopfbewegungen und physiologische Reaktionen. Um diese Signale unter standardisierten und dennoch realistischen Bedingungen zu untersuchen, haben wir zwei Paradigmen entwickelt: den Berlin Emotion Recognition Test (BERT), eine computergestützte Aufgabe zur Bewertung der Emotionserkennung; und den Simulated Interaction Task (SIT), ein standardisiertes Paradigma für soziale Interaktion zur Erfassung nonverbalen Verhaltens.

Anhand der aus diesen Paradigmen gewonnenen Daten entwickeln wir multimodale Methoden des maschinellen Lernens zur Analyse von sozialem Interaktionsverhalten und affektbezogenen Signalen. Unsere Arbeit konzentriert sich auf die Integration verschiedener Modalitäten, darunter Mimik, Stimme, Blick, Bewegungsmuster und Physiologie, sowie auf die Identifizierung interpretierbarer Verhaltensmuster, die mit Unterschieden in der sozialen Kommunikation assoziiert sind. Dies umfasst Forschung zu Erkrankungen wie Autismus-Spektrum-Störungen, sozialen Angststörungen, Aufmerksamkeitsdefizit-Hyperaktivitätsstörungen (ADHS) und depressiven Störungen.

Über die automatisierte Analyse hinaus entwickeln wir auch Werkzeuge, um multimodale Verhaltensdaten besser interpretierbar und klinisch nutzbar zu machen, beispielsweise durch interaktive Visualisierung und erklärbare KI-Ansätze.

Diese Forschung wurde im Zeitraum vom 01.12.2020 – 30.11.2024 durch das Drittmittel „Empathische Künstliche Intelligenz“ (EKI), FKZ 01IS20046 gefördert.