Multimodalität beschäftigt sich mit der Erforschung der Sprache und seiner Repräsentationen in der menschlichen Kommunikation, die über verschiedene Kanäle stattfindet. Sowohl der auditive Kanal als auch der visuelle Kanal tragen zum Ausdruck und zur Bedeutung einer Äußerung bei. Sprecher verwenden z.B. Handgesten und Mimik, um Wörter zu betonen oder ihre Gefühle und Einstellungen auszudrücken. Wir kommunizieren auch während wir uns bewegen. Kommunikation ist daher das Ergebnis von dynamisch interagierenden Modi, die akustische, artikulatorische, gestische, körperliche und respiratorische Signale einbeziehen. Das Wechselspiel zwischen diesen Modi steht im Mittelpunkt unserer Forschung.

Im Rahmen eines interdisziplinären Ansatzes nutzen wir ein großes Repertoire an Methoden zur Datenanalyse, wie z.B. akustische Analysen, Wahrnehmungstests, Bewegungserfassungsdaten und Atemaufnahmen. Unsere Untersuchungen umfassen Themen zu Sprachen wie z.B. Deutsch, Polnisch, Französisch und Türkisch. Zusammenfassend besteht unser Gesamtziel darin, die Beziehungen zwischen den Modi besser zu verstehen, die die Grundlage der Kommunikation und der Repräsentation von Sprache bilden.

Das Forschungsthema wird gestützt durch:

1. das DFG-Projekt Audio-visuelle Prosodie der geflüsterten und halb-geflüsterten Sprache (PROSPER)
2. das DFG-Projekt Zur Flexibilität und Stabilität der Gesten-Sprech-Koordination: Indizien aus der multimodalen Produktion, des Verständnisses und der Imitation (FLESH)
3. das deutsch-polnische Kooperationsprojekt Grammatischer Tinnitus und seine Rolle für die Wahrnehmung des fremdsprachlichen Akzents (GRANITUS)
4. das Marie-Curie-Projekt Mehrsprachigkeitserwerb und Spracherhalt in Deutschland: das Beispiel des Ober- und Niedersorbischen (MAG)
5. das Teilprojekt Kommunikative Ausrichtung auf der physiologischen Ebene (ESR5) im Rahmen des Marie Skłodowska-Curie Innovative Training Networks Conversational Brains (COBRA)

Auch folgende ausgelaufene Projekte waren für dieses Forschungsthema von Bedeutung: 

1. das deutsch-französische Kooperationsprojekt (DFG/ANR) Gesprochene Sprache in Bewegungen: Erwerb und Adaptation von gesprochener Kommunikation im Kontext von Körperbewegungen (Salammbo) 
2. das DFG-Projekt Der pragmatische Status von ikonischer Bedeutung in gesprochener Kommunikation: Gestik, Ideophone, prosodische Modulationen (PSIMS) im Rahmen des SPP 1727 XPrag.de