Les évaluateurs d'IA intégrés ne seront pas une solution facile, affirme le directeur de la politique de Hugging Face
techcrunch ·
Irene Solaiman, directrice de la politique chez Hugging Face, soutient que les méthodes actuelles d'évaluation des modèles d'IA sont trop immatures et incohérentes pour être pleinement fiables. Elle souligne que la reproductibilité constitue un obstacle critique, notant que l'accès aux poids ouverts est essentiel pour vérifier les résultats des évaluations. L'industrie manque actuellement d'une méthode standardisée pour comparer différents tests, ce qui les rend rapidement inefficaces. Bien qu'il y ait un intérêt croissant pour les évaluateurs tiers intégrés, des doutes subsistent quant à leur neutralité et leurs qualifications, comme en témoignent les récentes controverses chez Anthropic. Les évaluations se concentrent désormais sur des systèmes holistiques, incluant le harnais utilisateur et les capacités agentic. Solaiman met en évidence que tester ces environnements complexes d'agents est considérablement plus difficile et coûteux que les benchmarks traditionnels de modèles. Par conséquent, elle plaide pour une approche plus uniforme à l'échelle de l'industrie afin de garantir que le benchmarking reste un outil utile pour évaluer les performances de l'IA.
techcrunch