Multimodalität, Bewegung, Sprachproduktion und Sprachperzeption

Multimodalität beschäftigt sich mit der Erforschung der Sprache und seiner Repräsentationen in der menschlichen Kommunikation, die über verschiedene Kanäle stattfindet. Sowohl der auditive Kanal als auch der visuelle Kanal tragen zum Ausdruck und zur Bedeutung einer Äußerung bei. Sprecher verwenden z.B. Handgesten und Mimik, um Wörter zu betonen oder ihre Gefühle und Einstellungen auszudrücken. Wir kommunizieren auch während wir uns bewegen. Kommunikation ist daher das Ergebnis von dynamisch interagierenden Modi, die akustische, artikulatorische, gestische, körperliche und respiratorische Signale einbeziehen. Das Wechselspiel zwischen diesen Modi steht im Mittelpunkt unserer Forschung.

Im Rahmen eines interdisziplinären Ansatzes nutzen wir ein großes Repertoire an Methoden zur Datenanalyse, wie z.B. akustische Analysen, Wahrnehmungstests, Bewegungserfassungsdaten und Atemaufnahmen. Unsere Untersuchungen umfassen Themen zu Sprachen wie z.B. Deutsch, Polnisch, Französisch und Türkisch. Zusammenfassend besteht unser Gesamtziel darin, die Beziehungen zwischen den Modi besser zu verstehen, die die Grundlage der Kommunikation und der Repräsentation von Sprache bilden.

Das Forschungsthema wird gestützt durch das deutsch-französische Kooperationsprojekt (DFG-ANR) Gesprochene Sprache in Bewegungen: Erwerb und Adaptation von gesprochener Kommunikation im Kontext von Körperbewegungen (Salammbo) (Fuchs), das PSIMS-Projekt (DFG innerhalb von XPrag.de): Der pragmatische Status von ikonischer Bedeutung in gesprochener Kommunikation: Gestik, Ideophone, prosodische Modulationen (Ebert, Fuchs, Krifka), das DFG-Projekt Audio-visuelle Prosodie der geflüsterten und halb-geflüsterten Sprache (PROSPER) (Żygis) und die erfolgreiche Teilnahme an der Marie-Curie-ITN Ausschreibung Conversational Brains (Fuchs).