Das Projekt „LIBILLE“ vergleicht, wie Menschen und KI-Systeme Sprache lernen und nutzen und worin sich ihre Sprachlernfähigkeiten unterscheiden. Dabei sollen drei Hypothesen überprüft werden: KI-Modelle durchlaufen nicht die typischen Phasen des kindlichen Spracherwerbs, sie können sprachliche Regeln lernen, die in menschlichen Sprachen nicht vorkommen, und sie lernen besser, wenn sie mit menschenähnlichen sprachlichen Vorannahmen trainiert werden.

Dieses Projekt ist ein Einzelprojekt im Rahmen des DFG-Schwerpunktprogramms 2556 - Robuste Beurteilung und sichere Anwendung von Sprachmodellen: Grundlagen für ein neues Feld zwischen Sprachwissenschaft & -technologie (LaSTing). LIBILLE ist ein gemeinsames Projekt vom FB3 ‘Syntax und Lexikon’ und FB4 ‘Semantik und Pragmatik’.

Trotz der menschenähnlichen Ausgaben bei einigen Aufgaben unterscheiden sich Sprachmodelle (LMs) in ihrer Struktur und der Struktur ihres Trainings erheblich von Menschen. Das LIBILLE-Projekt zielt darauf ab, unser Verständnis dieser strukturellen Unterschiede und ihrer Auswirkungen zu verbessern. Zu diesem Zweck formuliert es Vorhersagen und versucht dann, Vorhersagen über Unterschiede und Gemeinsamkeiten im Verhalten von Menschen und LMs zu validieren, wobei der Schwerpunkt auf dem morphosyntaktischen Bereich liegt. Das Projekt untersucht sowohl den reifen Zustand, d. h. erwachsene Menschen im Vergleich zu trainierten LLMs, als auch die Lern-/Trainingsphasen von Menschen und LLMs. Darüber hinaus wendet es strukturelle Untersuchungen an, um sicherzustellen, dass die Erklärungen für das Verhalten von LMs den Vorhersagen entsprechen. Zentrale Merkmale des LM-Designs sind der Tokenizer, Embeddings, die Transformer-Architektur und das Gradientenabstiegslernen. Ausgehend von dieser Architektur argumentieren wir, dass eine Reihe unterschiedlicher Verhaltensweisen in der Morphosyntax im reifen Zustand vorhergesagt werden können. Wir konzentrieren uns auf drei davon, die sich auf morphologische Paradigmenlücken, morphologische Verallgemeinerungen auf erfundene („Nonce-“) Wörter und die Sensibilität für orthographische Konventionen, beispielsweise zur Zusammen-/Getrenntschreibung von definiten Artikeln und klitischen Pronomen beziehen.

Im Rahmen des Projekts werden neuartige Experimente entwickelt, um LMs und Menschen auf solche vorhergesagten Unterschiede zu testen. Aus der LM-Architektur heraus wird auch vorausgesagt, dass LMs während des Trainings andere Eigenschaften aufweisen sollten als menschliche Kinder, die Sprache erwerben. Wir entwickeln verschiedene Paradigmen, um die vorhergesagten Lernunterschiede mithilfe von kontextbezogenem Lernen, künstlichem Grammatiklernen und anderen Techniken zu testen. Die drei Vorhersagen, auf die wir uns konzentrieren, sind das Fehlen der typischen Phasen des menschlichen Spracherwerbs in LMs, die Fähigkeit von LMs, Verallgemeinerungen zu lernen, die in menschlichen Sprachen unmöglich sind, und dass das Training zur Induzierung menschenähnlicher Biases das Lernen von LMs verbessern sollte. Das umfassende Verständnis der Unterschiede zwischen Mensch und Maschine in Bezug auf sprachliche Fähigkeiten, das das LIBILLE-Projekt entwickelt, wird entscheidende Erkenntnisse für unser Verständnis sowohl der menschlichen Sprachfähigkeit als auch der Fähigkeiten aktueller LMs liefern.