Встроенные оценщики ИИ не станут простым решением, заявляет глава политики Hugging Face
techcrunch ·
Ирен Солиман, главный политический директор Hugging Face, утверждает, что текущие методы оценки моделей ИИ слишком незрелы и непоследовательны, чтобы им можно было полностью доверять. Она подчеркивает, что воспроизводимость является критическим препятствием, отмечая, что доступ к открытым весам необходим для проверки результатов оценок. В настоящее время в отрасли отсутствует стандартизированный способ сравнения различных тестов, из-за чего они быстро теряют свою эффективность. Несмотря на растущий интерес к встроенным независимым оценщикам, остаются сомнения относительно их нейтральности и квалификации, что подтверждается недавними скандалами в Anthropic. Фокус в оценке смещается с изолированных моделей на целостные системы, включая пользовательские интерфейсы и агентные возможности. Солиман отмечает, что тестирование таких сложных агентных сред значительно сложнее и дороже, чем традиционные бенчмарки моделей. Следовательно, она призывает к более единообразному отраслевому подходу, чтобы обеспечить сохранение полезности бенчмарков как инструмента для оценки производительности ИИ.
techcrunch