Agentes de IA têm mau gosto em decisões de longo prazo e um novo benchmark prova isso
decoder ·
Pesquisadores da Microsoft e da Cidade Universitária de Hong Kong apresentaram o Taste-Bench, um novo benchmark projetado para avaliar a capacidade dos agentes de IA de tomar decisões de longo prazo em tarefas complexas e multifásicas. Diferente dos benchmarks padrão que medem apenas a conclusão final da tarefa, esta ferramenta avalia o "gosto" do agente ao analisar sua habilidade de escolher o caminho mais promissor nos pontos críticos de decisão durante uma trajetória. O estudo testou 14 modelos líderes, incluindo GPT-5.6 Sol e GPT-5.5, revelando que até os melhores desempenho mal ultrapassaram 60% de precisão nessas escolhas binárias. O desempenho caiu significativamente quando as evidências favoráveis a um caminho só apareciam após extenso trabalho posterior, indicando que os modelos atuais têm dificuldade em prever resultados futuros com eficácia. O aumento do tempo de raciocínio ou do orçamento computacional não melhorou os resultados, sugerindo que as pistas necessárias muitas vezes estão ausentes no contexto imediato. No entanto, os pesquisadores demonstraram que essa capacidade de julgamento pode ser treinada por meio da destilação de insights de um modelo professor para um modelo aluno, o que aumentou as taxas de sucesso em tarefas de codificação não vistas anteriormente. Essa descoberta destaca uma lacuna significativa nas capacidades atuais de IA no que diz respeito ao planejamento de longo prazo e oferece um caminho para melhorias por meio de treinamento direcionado.
decoder