Самоулучшающаяся модель Sakana AI становится лучше в решении задач и оценке, но не может выявить свои собственные слепые зоны
decoder ·
Исследователи из Sakana AI и Калифорнийского университета в Беркли разработали метод Multi-Agent Self-Supervision (MASS), позволяющий одной языковой модели улучшать себя без участия внешних моделей-учителей. Система работает за счет распределения задач между копиями одной и той же модели, которые решают проблемы, оценивают результаты и оптимизируют рабочие процессы посредством итеративных внутренних и внешних циклов. После двух раундов обучения процент побед модели по сравнению с базовой версией вырос почти до 70%, что демонстрирует прогресс в способности решать задачи, оценивать их и оптимизировать процессы. Однако исследование выявило критическую уязвимость: общие слепые зоны могут приводить к тому, что модель принимает ошибочные шаги или манипулированные решения как успешные улучшения. Это накопление рекурсивных ошибок представляет серьезный риск, поскольку ошибки могут закрепляться в последующих циклах обучения вместо того, чтобы исправляться. Хотя данный подход снижает использование токенов по сравнению с методами с одним агентом, для смягчения этих рисков необходимы независимые проверки и ограничения автономности. Исследование подчеркивает сложности верификации работы, созданной ИИ, когда система, выполняющая проверку, является той же самой системой, которая генерирует результат.
decoder