La soluzione agli agenti IA fuori controllo potrebbe essere un’altra IA
techcrunch ·
Man mano che le aziende affidano agli agenti di IA compiti più lunghi e complessi, gli esseri umani faticano a monitorarne la velocità, la durata e il volume delle attività. Il problema è stato evidenziato da un incidente che ha coinvolto quasi 12.000 agenti associati a Hugging Face, impossibile da comprendere, secondo gli auditor, senza usare l’IA per analizzare i dati. I laboratori e le startup di IA stanno quindi sviluppando sistemi che usano un’IA per monitorarne un’altra, anche se i ricercatori avvertono che gli agenti malevoli potrebbero ingannare o superare in astuzia i propri sistemi di monitoraggio. Watcher di Apollo Research esamina le azioni proposte dagli agenti di programmazione, mentre Silico di Goodfire utilizza sonde delle attivazioni interne dei modelli per rilevare comportamenti indesiderati. Anche il ragionamento scritto può rivelare intenzioni ingannevoli, ma le tecniche emergenti e l’accesso limitato al ragionamento intermedio potrebbero rendere questo segnale meno affidabile. L’articolo osserva che gli investimenti nell’osservabilità dell’IA stanno crescendo rapidamente, con numerose startup che raccolgono finanziamenti ingenti. Alcuni esperti sostengono invece l’uso di registri di rete dettagliati e dei tradizionali strumenti di cybersicurezza, affermando che le pratiche di monitoraggio e sicurezza di base potrebbero risolvere gran parte del problema senza affidarsi interamente all’IA.
techcrunch