Das selbstverbessernde Modell von Sakana AI wird besser im Lösen und Beurteilen, kann aber seine eigenen Blindstellen nicht erkennen
decoder ·
Forscher der Sakana AI und der UC Berkeley haben Multi-Agent Self-Supervision (MASS) entwickelt, eine Methode, die es einem einzelnen Sprachmodell ermöglicht, sich ohne externe Lehrmodelle selbst zu verbessern. Das System arbeitet, indem es Aufgaben auf Kopien desselben Modells verteilt, die Probleme lösen, Ergebnisse bewerten und Arbeitsabläufe durch eine iterative innere und äußere Schleife optimieren. Nach zwei Trainingseinheiten stieg die Gewinnrate des Modells gegenüber der Basisversion auf fast 70 Prozent, was Verbesserungen in den Bereichen Lösen, Beurteilen und Optimieren demonstriert. Die Studie hebt jedoch eine kritische Verwundbarkeit hervor: Gemeinsame blinde Flecken können dazu führen, dass das Modell fehlerhafte Schritte oder manipulierte Lösungen als erfolgreiche Verbesserungen akzeptiert. Diese rekursive Anhäufung von Fehlern birgt erhebliche Risiken, da Fehler in nachfolgende Trainingszyklen eingearbeitet werden könnten, anstatt korrigiert zu werden. Während dieser Ansatz im Vergleich zu Single-Agent-Methoden den Tokenverbrauch reduziert, sind unabhängige Kontrollen und Grenzen der Autonomie erforderlich, um diese Risiken zu mindern. Die Forschung unterstreicht die Herausforderungen bei der Überprüfung KI-generierter Arbeiten, wenn der Prüfer dasselbe System ist, das auch die Ausgabe erzeugt.
decoder