Eingebettete KI-Bewerter werden keine einfache Lösung sein, sagt Hugging Faces Politikchefin
techcrunch ·
Irene Solaiman, Chief Policy Officer bei Hugging Face, argumentiert, dass aktuelle Methoden zur Benchmarking-Bewertung von KI-Modellen zu unreif und inkonsistent sind, um ihnen vollständig vertraut zu werden. Sie betont, dass Reproduzierbarkeit eine kritische Hürde darstellt und der Zugang zu offenen Gewichten für die Verifizierung von Bewertungsergebnissen unerlässlich ist. Der Branche fehlt derzeit ein standardisierter Weg zum Vergleich verschiedener Tests, wodurch diese schnell ihre Wirksamkeit verlieren. Obwohl das Interesse an eingebetteten Drittanbieter-Evaluatoren wächst, bleiben Zweifel hinsichtlich ihrer Neutralität und Qualifikation bestehen, wie jüngste Kontroversen bei Anthropic zeigen. Die Bewertungen verlagern ihren Fokus von isolierten Modellen hin zu ganzheitlichen Systemen, einschließlich des Nutzer-Harnesses und agenter Fähigkeiten. Solaiman hebt hervor, dass das Testen dieser komplexen Agent-Umgebungen erheblich schwieriger und kostspieliger ist als traditionelle Modell-Benchmarks. Folglich fordert sie einen einheitlicheren, branchenweiten Ansatz, um sicherzustellen, dass Benchmarking weiterhin ein nützliches Instrument zur Beurteilung der KI-Leistung bleibt.
techcrunch