O modelo de autoaperfeiçoamento da Sakana AI melhora na resolução e julgamento, mas não consegue identificar seus próprios pontos cegos
decoder ·
Pesquisadores da Sakana AI e da UC Berkeley desenvolveram o Multi-Agent Self-Supervision (MASS), um método que permite a um único modelo de linguagem melhorar-se sem a necessidade de modelos professores externos. O sistema funciona dividindo tarefas entre cópias do mesmo modelo, que resolvem problemas, avaliam resultados e otimizam fluxos de trabalho por meio de um ciclo interno e externo iterativo. Após duas rodadas de treinamento, a taxa de vitória do modelo contra a versão base aumentou para quase 70%, demonstrando ganhos nas capacidades de resolução, julgamento e otimização. No entanto, o estudo destaca uma vulnerabilidade crítica: pontos cegos compartilhados podem fazer com que o modelo aceite etapas falhas ou soluções manipuladas como melhorias bem-sucedidas. Esse acúmulo recursivo de erros representa um risco significativo, pois os equívocos podem ser incorporados aos ciclos subsequentes de treinamento em vez de serem corrigidos. Embora a abordagem reduza o uso de tokens em comparação com métodos de agente único, ela requer verificações independentes e limites à autonomia para mitigar esses riscos. A pesquisa sublinha os desafios de verificar trabalhos gerados por IA quando o verificador é o mesmo sistema que produz a saída.
decoder