Bewertung großer Sprachmodelle in der wissenschaftlichen Entdeckung
Eine aktuelle Studie stellt das Scientific Discovery Evaluation (SDE)-Framework vor, um große Sprachmodelle bei Aufgaben zu bewerten, die der tatsächlichen wissenschaftlichen Forschung näherkommen. Im Gegensatz zu bestehenden Wissenschafts-Benchmarks, die größtenteils dekontextualisiertes Wissen testen, bewertet SDE Modelle in den Bereichen Biologie, Chemie, Materialwissenschaft und Physik anhand von Forschungsprojekten, die von Fachexperten definiert wurden. Diese Projekte werden in modulare Forschungsszenarien unterteilt, aus denen geprüfte Fragen entnommen werden.
Das Framework arbeitet auf zwei Ebenen. Auf Fragenebene misst es die Genauigkeit bei szenariobezogenen Aufgaben. Auf Projektebene müssen Modelle testbare Hypothesen vorschlagen, Simulationen oder Experimente entwerfen oder durchführen und die Ergebnisse interpretieren.
Benchmark-Zusammensetzung
SDE enthält 1.125 Fragen, die mit 43 Forschungsszenarien verknüpft sind (Chemie: 276 Fragen in 12 Szenarien; Materialien: 486 Fragen in 13 Szenarien; Biologie: 200 Fragen in 10 Szenarien; Physik: 163 Fragen in 8 Szenarien). Die Fragen wurden durch einen hybriden Prozess gesammelt, der halbautomatisiertes Sampling aus offenen Datensätzen mit manueller Expertenkuration kombinierte, gefolgt von einer Panel-Überprüfung zur Validierung. Zu den Bewertungsformaten gehören Multiple-Choice, exakte Übereinstimmung, toleranzbasierte Bewertung und Ähnlichkeitsmetriken wie die Tanimoto-Ähnlichkeit für chemische Strukturen.
Acht Forschungsprojekte, die sich über die vier Bereiche erstrecken, wurden für die Bewertung auf Projektebene definiert. Diese Projekte betten Modelle in eine iterative Entdeckungsschleife ein, die mit dem begleitenden sde-harness-Framework bewertet wird.
Ergebnisse auf Fragenebene
Modernste Modelle erzielen bei SDE niedrigere Werte als bei allgemeinen Wissenschafts-Benchmarks. Gemeldete Bereichswerte umfassen 0,71 in Biologie (claude-opus-4.1), 0,60 in Chemie (claude-sonnet-4.5), 0,75 in Materialien (gpt-5) und 0,60 in Physik (gpt-5). Im Vergleich dazu erreichen Modelle derselben Klasse etwa 0,84 bei MMMU-Pro und 0,86 bei GPQA-Diamond.
Die Leistung variiert erheblich zwischen einzelnen Szenarien. Zum Beispiel erzielte ein führendes Modell 0,85 bei der Retrosynthese-Planung, aber nur 0,23 bei der NMR-Strukturaufklärung. Reasoning-erweiterte Modelle verbessern die Ergebnisse im Vergleich zu ihren Basisversionen, doch weitere Skalierung der Test-Time-Compute und Modellgröße führt zu abnehmenden Erträgen.
Top-Modelle verschiedener Anbieter zeigen eine hohe Korrelation in ihren Genauigkeitsmustern (Spearman’s r > 0,8 in Chemie und Physik) und konvergieren häufig zu denselben falschen Antworten bei schwierigen Aufgaben. Bei einer schwierigen Teilmenge von 86 Fragen erzielten alle bewerteten Modelle Werte unter 0,12.
Ergebnisse auf Projektebene
Bei den acht Entdeckungsprojekten zeigen Modelle messbare Fortschritte bei mehreren strukturierten Aufgaben, darunter Proteinsequenz-Optimierung, Übergangsmetallkomplex-Optimierung und symbolische Regression. In einigen Fällen finden Modelle optimale oder nahezu optimale Lösungen innerhalb einer begrenzten Anzahl von Iterationen und erkunden Pareto-Fronten effektiv.
Die Beziehung zwischen Leistung auf Fragenebene und Projektebene ist nicht streng linear. Starke Szenario-Werte stimmen oft mit Projekterfolg überein, doch es gibt Ausnahmen: Relativ schwache Leistung bei bestimmten Szenario-Fragen verhindert nicht immer eine effektive Navigation des entsprechenden Optimierungsprojekts, während hohe Genauigkeit bei isolierten Retrosynthese-Fragen nicht durchgängig in gültige mehrstufige Syntheserouten übersetzt wird. Kein einzelnes Modell führt bei allen Projekten; die relative Rangfolge ändert sich je nach Aufgabe.
Allgemeine Beobachtungen
Die Studie berichtet von einer konsistenten Leistungslücke zwischen dekontextualisierten Wissenschafts-Benchmarks und szenariogebundenen Entdeckungsaufgaben, abnehmenden Erträgen durch weitere Skalierung der Modellgröße und des Argumentationsaufwands sowie systematischen Schwächen, die führende Modelle verschiedener Anbieter teilen. Große Variationen in der Szenario-Leistung führen zu wechselnden Ranglisten der besten Modelle, abhängig vom jeweiligen Entdeckungsprojekt. Eine unserer Hauptfragen lautet: Erhöht oder verringert KI das Vertrauen in die wissenschaftliche Entdeckung?
Die Autoren stellen fest, dass aktuelle LLMs noch weit von einer allgemeinen wissenschaftlichen „Superintelligenz“ entfernt sind. Gleichzeitig zeigen die Modelle bereits vielversprechende Ansätze in einer Vielzahl von wissenschaftlichen Entdeckungsprojekten, einschließlich Fällen, in denen die Ergebnisse der beteiligten Szenarien niedrig ausfallen. Das SDE-Framework wird als reproduzierbarer Benchmark präsentiert, der die weitere Entwicklung von Modellen für die wissenschaftliche Entdeckung unterstützen soll.
Daten und Code zum Benchmark sind in öffentlichen Repositories verfügbar.