Gli valutatori AI integrati non saranno una soluzione semplice, afferma il capo della politica di Hugging Face
techcrunch ·
Irene Solaiman, responsabile della politica di Hugging Face, sostiene che i metodi attuali di valutazione dei modelli di IA sono troppo immaturi e incoerenti per essere pienamente affidabili. Sottolinea che la riproducibilità è un ostacolo cruciale, notando che l'accesso ai pesi aperti è essenziale per verificare i risultati delle valutazioni. Il settore attualmente non dispone di un modo standardizzato per confrontare i diversi test, il che li rende inefficaci rapidamente. Sebbene vi sia una crescente interesse per gli valutatori terzi integrati, persistono dubbi sulla loro neutralità e qualifica, come evidenziato dalle recenti controversie presso Anthropic. Le valutazioni stanno spostando il focus dai modelli isolati ai sistemi olistici, inclusi il framework utente e le capacità agentiche. Solaiman evidenzia che testare questi ambienti agentici complessi è significativamente più difficile e costoso rispetto ai benchmark tradizionali dei modelli. Di conseguenza, chiede un approccio più uniforme a livello di settore per garantire che i benchmark rimangano uno strumento utile per valutare le prestazioni dell'IA.
techcrunch