Google-Forscher finden Weg, um selbstverbessernde KI-Agenten daran zu hindern, ihre Tests auswendig zu lernen
decoder ·
Google-Forscher haben eine neue Methode namens RRSI entwickelt, um selbstverbessernde KI-Agenten daran zu hindern, ihre Testaufgaben auswendig zu lernen. Dieser Ansatz adressiert das Problem, dass Agenten sich auf begrenzte Benchmarks über spezialisieren, was zu einer schlechten Leistung bei unvorhergesehenen Herausforderungen führt. RRSI reguliert die Optimierungsschleife, indem es die Bearbeitungsbudgets im Laufe der Zeit reduziert und einen strengen Kritiker einsetzt, um benchmark-spezifische Tricks zurückweist. Das System priorisiert messbare Leistungssteigerungen gegenüber erhöhten Rechenkosten und entfernt Komponenten, die nicht mehr zur Wirksamkeit beitragen. Tests auf acht verschiedenen Benchmarks zeigten, dass RRSI die Generalisierung auf neue Aufgaben verbesserte, während weniger Tokens als bei unregulierten Versionen verwendet wurden. Bemerkenswerterweise verbesserten mit dieser Methode optimierte Harnesses auch die Leistung schwächerer Modelle, ohne dass Modifikationen erforderlich waren. Die Studie kommt zu dem Schluss, dass regularisiertes Feedback für die zuverlässige Steigerung der Fähigkeiten von Agenten ohne Overfitting unerlässlich ist.
decoder