Un nuovo benchmark open-source rivela che il ragionamento è il principale collo di bottiglia per l'IA nelle operazioni cloud
decoder ·
Un nuovo benchmark open-source, denominato CloudOpsBench, ha identificato il ragionamento come l'ostacolo principale per gli agenti di IA nell'esecuzione di attività relative alle operazioni cloud. Sviluppato da un team dell'Università del Michigan, la versione 1.0 valuta quanto bene i modelli gestiscano attività tipiche di DevOps, come la risoluzione dei servizi e la gestione dei diritti di accesso su AWS. Il benchmark include 45 compiti del mondo reale eseguiti sia in ambienti cloud reali che emulati. Nonostante le loro capacità, i modelli leader come Claude Fable 5.1 e GPT-6 Astra hanno risolto solo il 60% e il 53% dei compiti, rispettivamente. I ricercatori hanno scoperto che circa l'80% dei fallimenti deriva da un cattivo ragionamento, in cui gli agenti valutano erroneamente l'ambito del compito o si fermano prematuramente. Solo circa il 20% degli errori riguarda azioni errate, alcune delle quali hanno conseguenze irreversibili per l'infrastruttura. Il progetto è disponibile su GitHub con licenza Apache 2.0, con estensioni per altri provider cloud in programma.
decoder