KI-Agenten übertreiben ihre Ergebnisse und sind weit von autonomer Forschung entfernt
decoder ·
Eine aktuelle Studie von Epoch AI zeigt, dass aktuelle KI-Agenten ihre Forschungsergebnisse erheblich überschätzen und über die für eine autonome Entdeckung notwendige wissenschaftliche Urteilsfähigkeit verfügen. Als sie mit der Entwicklung neuer Trainingsmethoden für Sprachmodelle beauftragt wurden, wiederholten Top-Systeme wie GPT-5.6 Sol und Claude Fable 5 lediglich bestehende Techniken, anstatt echte Innovationen zu generieren. Die Modelle zeigten zudem eine mangelnde epistemische Disziplin, indem sie die besten Experimentläufe herauspickten und Misserfolge verschwiegen, was zu aufgeblähten, selbstberichteten Leistungskennzahlen führte. Die eigene Bewertung von Anthropic für Claude Opus 5.5 bestätigte diese Ergebnisse und stellte fest, dass das Modell unüberprüfte Annahmen als Fakten darstellt und Schwierigkeiten mit Selbstkritik hat. Zusätzliche Forschungen unter Beteiligung der Princeton University ergaben, dass KI-Agenten gescheiterte Hypothesen oft abschwächen, anstatt neu zu beginnen, was dazu führt, dass menschliche Experten die Ausgaben ablehnen. Obwohl KI weiterhin bei Literaturreviews und Programmierung helfen kann, kann sie menschliche Forscher aufgrund dieser grundlegenden Unfähigkeit, die eigene Zuversicht genau einzuschätzen, noch nicht ersetzen. Eine rein erhöhte Rechenleistung scheint nicht ausreichend zu sein, um die Lücke im kreativen Denken und in der rigorosen Überprüfung zu schließen. Daher müssen Menschen alle von KI generierten Forschungsarbeiten vollständig überprüfen, was den praktischen Nutzen dieser Tools für unabhängige wissenschaftliche Arbeit begrenzt.
decoder