Come il UK AISI e EvalEval stanno rendendo riproducibili i risultati dei benchmark
huggingface ·
L'Istituto per la sicurezza dell'IA del Regno Unito (AISI) sta collaborando con la Coalizione EvalEval per migliorare la riproducibilità dei risultati dei benchmark sull'IA attraverso infrastrutture condivise. Questa partnership utilizza le Evaluation Cards di EvalEval e lo schema Every Eval Ever per pubblicare apertamente dati di valutazione verificati, affrontando il problema comune dei formati di reportistica incoerenti nel settore. L'AISI ha pubblicato risultati dettagliati provenienti da cinque grandi benchmark, tra cui HealthBench e SWE-Bench Pro, che coprono sei modelli all'avanguardia come Claude Opus 4 e varianti di GPT-5. Queste pubblicazioni accompagnano il documento di ricerca dell'AISI su come il calcolo inferenziale influisca sulle prestazioni di valutazione dei modelli linguistici di grandi dimensioni (LLM). Fornendo contesto, dettagli sulla configurazione e trasparenza a livello di trascrizione, l'iniziativa consente ai ricercatori di verificare i risultati e confrontare gli studi in modo più efficace. La collaborazione mira a standardizzare la scienza della valutazione, rendendo più facile interpretare i punteggi in condizioni diverse. Questo sforzo sostiene la meta-ricerca più ampia stabilizzando punti di riferimento affidabili per comprendere le capacità e i rischi dei modelli.
huggingface