Multimodalität, Bewegung, Sprachproduktion und Sprachperzeption

Im Rahmen des Forschungsthemas Multimodalität, Bewegung, Sprachproduktion und Sprachperzeption wird die Koordination und das Timing von Bewegungen mit verschiedenen dynamischen Eigenschaften und deren Rolle beim Sprechen untersucht (langsam für die Atmung oder Ganzkörperbewegungen und schnellere Bewegungen, z.B. des Kiefers, der den Silbenrhythmus beim Sprechen produziert). Es wird die Rolle von Gesten und Bewegungen für den lexikalischen Zugriff und das Langzeitgedächtnis von neuen Wörtern erforscht, sowie die Rolle der sensorisch-motorischen Eigenschaften für die Entstehung und Bedeutung von ikonischer Prosodie und ikonischen Gesten. Ein weiteres Forschungsziel ist die audio-visuelle Produktion und Verarbeitung in Sprechsituationen, in denen auditive oder visuelle Sprechsignale eingeschränkt sind (z.B. beim Flüstern oder beim Telefonieren); hier interessiert insbesondere die Frage, inwieweit der eingeschränkte Kanal von dem anderen kompensiert werden kann und welche Wechselbeziehungen es zwischen beiden Kanälen gibt.

Das Forschungsthema wird gestützt durch das deutsch-französische Kooperationsprojekt (DFG-ANR) Spoken language in motions: Learning and adaptation of speech communication in the context of body motions (Salammbo) (Fuchs), das PSIMS-Projekt (DFG innerhalb von XPrag.de): The Pragmatic Status of Iconic Meaning in Spoken Communication: Gestures, Ideophones, Prosodic Modulations (Ebert, Fuchs, Krifka), das DFG-Projekt Audio-visual prosody of whispered and semi-whispered speech (Żygis) und die erfolgreiche Teilnahme an der Marie-Curie-ITN Ausschreibung ConversationalBrains (Fuchs).