Große Sprachmodelle können nicht springen

Der Entdeckungszyklus

Wie entdecken wir grundlegend Neues? In einem Brief an Maurice Solovine beschrieb Albert Einstein die Entdeckung als einen Zyklus: Sensorische Erfahrung führt über einen intuitiven „Sprung“ zu einem System von Axiomen; logische Deduktion erzeugt dann Theoreme, die anhand von Erfahrungen getestet werden können. Generative KI ist bei zwei Teilen dieses Zyklus hochwirksam geworden. Sie führt Induktion durch – statistischen Musterabgleich über große Datenmengen – und macht rasche Fortschritte bei der Deduktion, der formalen Ableitung von Konsequenzen aus gegebenen Prämissen. Systeme wie AlphaProof haben in der Mathematik Olympiade-Niveau erreicht, und spätere Modelle haben bei ähnlichen Problemen Goldmedaillen-Standards erzielt.

Drei Schlussfolgerungsmodi

Zahavys Positionspapier argumentiert, dass ein dritter Schlussfolgerungsmodus – die Abduktion – fehlt. Basierend auf Charles Sanders Peirces Rahmenwerk unterscheidet er die drei Formen nach den strukturellen Rollen von Regel, Fall und Ergebnis:

• Deduktion wendet eine bekannte Regel auf einen Fall an, um ein Ergebnis zu erzielen. Sie bewahrt die Wahrheit.
• Induktion leitet eine Regel aus vielen Fällen und Ergebnissen ab. Sie verallgemeinert aus der Häufigkeit.
• Abduktion erfindet einen Fall (oder eine neue Regel), der ein überraschendes Ergebnis erklären würde. Es ist die kreative Generierung einer Hypothese, wo im vorherigen symbolischen Repertoire keine existierte.

Der Fall der Allgemeinen Relativitätstheorie

Einsteins Formulierung der allgemeinen Relativitätstheorie dient als zentrale Fallstudie. Zu dieser Zeit sah sich die Newtonsche Gravitation keiner empirischen Krise gegenüber, die eine neue Theorie erforderte. Die Äquivalenz von träger und schwerer Masse war mit hoher Präzision verifiziert worden; die einzige bemerkenswerte Anomalie, die Perihelverschiebung des Merkur, wurde weithin einem unentdeckten Planeten zugeschrieben und nicht einem Versagen der Gesetze selbst. Es gab daher kein substanzielles Fehlersignal oder überwachtes Dataset, das ein induktives System zu einem besseren Modell komprimieren könnte. Die Axiome der neuen Theorie konnten auch nicht aus bestehenden Prämissen abgeleitet werden, da sie selbst die Prämissen waren. Der entscheidende Schritt war abduktiv: der „glücklichste Gedanke“, in dem Einstein einen Beobachter im freien Fall imaginierte und erkannte, dass die lokalen Effekte von Gravitation und gleichmäßiger Beschleunigung ununterscheidbar sind. Diese Einsicht, die auf einer verkörperten mentalen Simulation und nicht auf sprachlicher oder statistischer Manipulation bestehender Texte beruhte, lieferte das Äquivalenzprinzip und die nachfolgenden geometrischen Axiome.

Wo aktuelle Modelle erfolgreich sind – und aufhören

Sobald diese Axiome bereitgestellt sind, fällt die nachfolgende mathematische Arbeit – die Identifizierung der korrekten Krümmungstensoren, die Korrektur von Zwischenfehlern bezüglich des Newtonschen Grenzwerts und die Ableitung der Feldgleichungen – in den Bereich moderner formaler Denksysteme. Zahavy räumt ein, dass ein zeitgenössisches großes Sprachmodell, Einsteins physikalische Annahmen als Eingabe gegeben, die deduktive Phase plausibel abschließen könnte. Der Engpass liegt vorgelagert: die Übersetzung simulierter sensorischer Erfahrung in formale Axiome, die keinen vorherigen symbolischen Präzedenzfall haben.

Die Grenzen der Symbolmanipulation

Aktuelle Sprachmodelle funktionieren als hochdimensionale Symbolmanipulatoren. Sie rekombinieren und optimieren innerhalb eines etablierten linguistischen Raums. Techniken wie Prompt Engineering oder iterative Verfeinerung verbessern die Leistung innerhalb dieses Raums, können aber die sensorische Erdung nicht liefern, die für die manipulative Abduktion erforderlich ist – die aktive Interaktion mit einem physikalischen (oder physikalisch konsistenten) Modell, das neue konzeptuelle Primitive erzeugt. Zahavy vergleicht diese Einschränkung mit dem Chinesischen Zimmer: Das System kann die Sprache der Physik neu anordnen, ohne Zugang zu den Referenten zu haben, die der Sprache Bedeutung verleihen.

Hin zu physikalisch konsistenten Weltmodellen

Das Papier identifiziert daher physikalisch konsistente, aktionsgesteuerte Weltmodelle als notwendiges Substrat. Passive Videoprädiktoren, die lediglich statistische Muster fortsetzen, sind unzureichend. Modelle, die kontrafaktische Interventionen zulassen – die es einem Agenten ermöglichen, das „Kabel“ eines Aufzugs zu durchtrennen oder die simulierte Umgebung anderweitig zu manipulieren – könnten als synthetische Labore fungieren. Sensorisches und interaktives Feedback aus solchen Umgebungen würde die Erdung liefern, die erforderlich ist, um Axiome vorzuschlagen, wo noch keine sprachliche Vorlage existiert. Der Vorschlag ist speziell für die Physik formuliert, wo das Studienobjekt die externe materielle Realität ist; in abstrakteren Domänen würde die Form der erforderlichen Simulation abweichen, obwohl die Notwendigkeit eines abduktiven Sprungs bestehen bleibt.

Eine Position, kein Urteil

Zahavy präsentiert das Argument als Positionspapier, nicht als Behauptung, dass große Sprachmodelle zu nützlichen wissenschaftlichen Beiträgen unfähig sind oder dass Skalierung allein keine weiteren Fortschritte hervorbringen kann. Die Analyse konzentriert sich auf die strukturellen Bedingungen, unter denen ein System die besondere Art des paradigmenbildenden Sprungs, wie er durch die allgemeine Relativitätstheorie veranschaulicht wird, replizieren könnte. Der entscheidende fehlende Schritt ist der Sprung von der Erfahrung zum Axiom; ohne einen Mechanismus für diesen Schritt bleibt der Zyklus der wissenschaftlichen Erfindung unvollständig.

Das Papier ist als Preprint im PhilSci-Archive verfügbar (Zahavy, 2026).