Das übergeordnete Ziel dieses Forschungsthemas ist es, sprachliche Repräsentationen aus multimodaler Perspektive zu ergründen und Bezüge zur Evolution der Sprache und ihrer soziokulturellen Übertragung zu erforschen. Es geht darum, das komplexe Zusammenspiel zwischen Sprache, händischen und orofazialen Gesten einerseits sowie der Integration von visuellen und akustischen Stimuli andererseits zu untersuchen. Dabei liegt das besondere Augenmerk auf

• der Integration von orofazialen Gesten in die Prosodie der Sprache
• der Koordination zwischen Körperbewegungen und Sprache bei der Bedeutungserzeugung von ausgewählten kognitiven Konzepten
• der Übermittlung und Imitation von Bedeutungen durch Gesten oder Vokalisierungen von einer zur nächsten Person und
• der Ermittlung des Beitrags kontextueller visueller Information auf Sprache.

Es werden unter anderem Bewegungsaufzeichnungsdaten sowie Daten aus akustischen, artikulatorischen und perzeptiven Studien erhoben.