Multimodalität, Bewegung, Sprachproduktion und Sprachperzeption

Im Rahmen des Forschungsthemas Multimodalität, Bewegung, Sprachproduktion und Sprachperzeption wird die Koordination und das Timing von Bewegungen mit verschiedenen dynamischen Eigenschaften und deren Rolle beim Sprechen untersucht (langsam für die Atmung oder Ganzkörperbewegungen und schnellere Bewegungen, z.B. des Kiefers, der den Silbenrhythmus beim Sprechen produziert). Es wird die Rolle von Gesten und Bewegungen für den lexikalischen Zugriff und das Langzeitgedächtnis von neuen Wörtern erforscht, sowie die Rolle der sensorisch-motorischen Eigenschaften für die Entstehung und Bedeutung von ikonischer Prosodie und ikonischen Gesten. Ein weiteres Forschungsziel ist die audio-visuelle Produktion und Verarbeitung in Sprechsituationen, in denen auditive oder visuelle Sprechsignale eingeschränkt sind (z.B. beim Flüstern oder beim Telefonieren); hier interessiert insbesondere die Frage, inwieweit der eingeschränkte Kanal von dem anderen kompensiert werden kann und welche Wechselbeziehungen es zwischen beiden Kanälen gibt.

Das Forschungsthema wird gestützt durch das deutsch-französische Kooperationsprojekt (DFG-ANR) Gesprochene Sprache in Bewegungen: Erwerb und Adaptation von gesprochener Kommunikation im Kontext von Körperbewegungen (Salammbo) (Fuchs), das PSIMS-Projekt (DFG innerhalb von XPrag.de): Der pragmatische Status von ikonischer Bedeutung in gesprochener Kommunikation: Gestik, Ideophone, prosodische Modulationen (Ebert, Fuchs, Krifka), das DFG-Projekt Audio-visuelle Prosodie der geflüsterten und halb-geflüsterten Sprache (PROSPER) (Żygis) und die erfolgreiche Teilnahme an der Marie-Curie-ITN Ausschreibung Conversational Brains (Fuchs).