Wie das britische AISI und EvalEval Benchmark-Ergebnisse reproduzierbar machen
huggingface ·
Das britische AI Security Institute (AISI) arbeitet mit der EvalEval Coalition zusammen, um die Reproduzierbarkeit von KI-Benchmark-Ergebnissen durch gemeinsame Infrastruktur zu verbessern. Diese Partnerschaft nutzt EvalEvals Evaluation Cards und das Every Eval Ever Schema, um verifizierte Evaluierungsdaten öffentlich zugänglich zu machen und so dem häufigen Problem inkonsistenter Berichtsformate in diesem Bereich entgegenzuwirken. AISI hat detaillierte Ergebnisse aus fünf großen Benchmarks veröffentlicht, darunter HealthBench und SWE-Bench Pro, die sechs Frontier-Modelle wie Claude Opus 4 und GPT-5-Varianten abdecken. Diese Veröffentlichungen begleiten den Forschungsbericht von AISI darüber, wie sich der Inference-Compute auf die Leistung bei der LLM-Evaluierung auswirkt. Durch die Bereitstellung von Kontext, Konfigurationsdetails und Transkript-Level-Transparenz ermöglicht diese Initiative Forschern, Ergebnisse zu überprüfen und Studien effektiver zu vergleichen. Die Zusammenarbeit zielt darauf ab, die Evaluierungswissenschaft zu standardisieren und es einfacher zu machen, Scores unter verschiedenen Bedingungen zu interpretieren. Diese Bemühungen unterstützen die breitere Meta-Forschung, indem sie zuverlässige Referenzpunkte für das Verständnis von Modellfähigkeiten und -risiken schaffen.
huggingface