Avaliadores de IA embutidos não serão uma solução fácil, diz o chefe de política da Hugging Face
techcrunch ·
Irene Solaiman, diretora de políticas da Hugging Face, argumenta que os métodos atuais de avaliação de modelos de IA são imaturos e inconsistentes demais para serem totalmente confiáveis. Ela enfatiza que a reprodutibilidade é um obstáculo crítico, observando que o acesso aos pesos abertos é essencial para verificar os resultados das avaliações. A indústria atualmente carece de uma maneira padronizada de comparar diferentes testes, fazendo com que se tornem ineficazes rapidamente. Embora haja um crescente interesse em avaliadores terceiros integrados, persistem dúvidas quanto à sua neutralidade e qualificações, como visto nas recentes controvérsias na Anthropic. As avaliações estão mudando o foco de modelos isolados para sistemas holísticos, incluindo o harness do usuário e as capacidades agênticas. Solaiman destaca que testar esses ambientes complexos de agentes é significativamente mais difícil e caro do que os benchmarks tradicionais de modelos. Consequentemente, ela defende uma abordagem mais uniforme, em toda a indústria, para garantir que a benchmarking continue sendo uma ferramenta útil para avaliar o desempenho da IA.
techcrunch