Как британский AISI и EvalEval делают результаты бенчмарков воспроизводимыми
huggingface ·
Британский Институт безопасности ИИ (AISI) сотрудничает с Коалицией EvalEval для повышения воспроизводимости результатов тестирования искусственного интеллекта за счет использования общей инфраструктуры. Это партнерство использует «Оценочные карточки» EvalEval и схему Every Eval Ever для открытой публикации проверенных данных оценки, что решает распространенную проблему несогласованных форматов отчетности в отрасли. AISI опубликовал подробные результаты пяти крупных бенчмарков, включая HealthBench и SWE-Bench Pro, охватывающие шесть передовых моделей, таких как Claude Opus 4 и варианты GPT-5. Эти публикации сопровождаются исследовательской статьей AISI о влиянии вычислительных ресурсов на этапе вывода (inference) на производительность оценки больших языковых моделей (LLM). Предоставляя контекст, детали конфигурации и прозрачность на уровне транскриптов, эта инициатива позволяет исследователям проверять результаты и более эффективно сравнивать исследования. Сотрудничество направлено на стандартизацию науки об оценке, облегчая интерпретацию показателей при различных условиях. Эти усилия поддерживают более широкий метаисследовательский анализ, устанавливая надежные эталонные точки для понимания возможностей и рисков моделей.
huggingface