Los evaluadores de IA integrados no serán una solución fácil, dice el jefe de política de Hugging Face
techcrunch ·
Irene Solaiman, directora de políticas de Hugging Face, argumenta que los métodos actuales de evaluación de modelos de IA son demasiado inmaduros e inconsistentes para ser totalmente confiables. Hace hincapié en que la reproducibilidad es un obstáculo crítico, señalando que el acceso a los pesos abiertos es esencial para verificar los resultados de las evaluaciones. La industria carece actualmente de una forma estandarizada para comparar diferentes pruebas, lo que hace que se vuelvan ineficaces rápidamente. Aunque existe un creciente interés en los evaluadores externos integrados, persisten dudas sobre su neutralidad y cualificaciones, como se evidenció en las recientes controversias en Anthropic. Las evaluaciones están cambiando su enfoque desde modelos aislados hacia sistemas holísticos, que incluyen el entorno del usuario y las capacidades agénticas. Solaiman destaca que probar estos complejos entornos de agentes es significativamente más difícil y costoso que los benchmarks tradicionales de modelos. En consecuencia, insta a adoptar un enfoque más uniforme y generalizado en la industria para garantizar que la evaluación siga siendo una herramienta útil para medir el rendimiento de la IA.
techcrunch