Dieses Projekt ist ein Einzelprojekt im Rahmen des DFG-Schwerpunktprogramms 2329 - Visuelle Kommunikation. Theoretische, empirische und angewandte Perspektiven (ViCom).

Sprache und Gesten sind ein Orchester von Bewegungen, die für kommunikative Ziele zusammenwirken. Mehrere frühere Studien haben gezeigt, dass Sprache und Gesten koordiniert sind. Es ist jedoch weniger klar, wie stabil oder flexibel die Koordination ist und wie sich ihre Koordination entwickelt. Im FLESH-Projekt gehen wir davon aus, dass die Koordination zwischen Sprache und Gesten mit der Bedeutung zusammenhängt und eine wichtige Rolle im semiotischen Prozess spielt. Die Originalität unseres Ansatzes besteht darin, dass wir die motorischen Eigenschaften miteinbeziehen. Wir gehen davon aus, dass eine stabile Gesten-Vokal-Koordination die geringere Masse und die höheren Geschwindigkeiten von Sprachartikulatoren im Vergleich zu Armgesten berücksichtigen muss. Im Gegensatz zu vielen früheren theoretischen Ansätzen sehen wir die Koordination zwischen Sprache und Gesten als entscheidend für die Sprachevolution an.

Bislang haben Studien zur Gesten- und Sprachevolution die motorische Kontrolle nicht im Detail berücksichtigt und sich entweder auf die Vokalisation oder die Geste konzentriert, wodurch ihre Koordination und Multimodalität im Allgemeinen außer Acht gelassen wurde. Im Projekt FLESH wollen wir dies ändern, indem wir die Koordination von Vokalisationen und Gesten bei der Bedeutungserstellung untersuchen.

FLESH ist in vier Arbeitspakete unterteilt. Im Arbeitspaket 1 untersuchen wir die natürlichen Koordinationstendenzen von Gestik und Vokalisation getrennt und in Kooperation, wenn sie Bedeutungen ausdrücken. Wir untersuchen, welche Koordinationstendenzen für das Verständnis der Bedeutung von gestisch-vokalen Äußerungen tatsächlich relevant sind. Im Arbeitspaket 2 werden modernste Technologien und Signalverarbeitungsmethoden eingesetzt, um die Koordination des Orchesters mehrerer Bewegungen während der Imitation zu untersuchen. Mit einem hohen Grad an Granularität werden wir in der Lage sein, mehrere beteiligte gestisch-stimmliche Artikulatoren zu untersuchen, um festzustellen, ob bestimmte Arten von Artikulatoren bei bedeutungsvollen oder nicht bedeutungsvollen Imitationen eher koordiniert werden. Im Arbeitspaket 3 untersuchen wir, wie sich gestisch-vokale Äußerungen entwickeln, wenn sie von einer zusammenhängenden Kette von Nachahmern weitergegeben und imitiert werden. Dieses Experiment wird die Sprachevolution im Labor simulieren. Der Schwerpunkt liegt auf der Frage, wie sich die Koordinationstendenzen bei der Wiederholung von gestisch-vokalen Äußerungen von einer Kette zur nächsten ändern oder verstärken. Im Arbeitspaket 4 werden wir die zeitliche Koordination zwischen Vokalisierung und Geste künstlich verändern, um zu sehen, ob dies die semantische Verarbeitung beeinflusst. Darüber hinaus werden wir Gesten-Vokal-Äußerungen präsentieren, die in ihrer Bedeutung nicht übereinstimmen, um zu sehen, ob sich neue Bedeutungen ergeben. Das FLESH-Projekt wird einen Einfluss auf das theoretische Verständnis der Gesten-Sprach-Beziehungen, die Beziehung zwischen Bedeutung und motorischer Koordination und deren Rolle in der Sprachevolution haben.