Goodfire: i nuovi monitor 'inside-out' catturano agenti AI ribelli a una frazione del costo
techcrunch ·
Goodfire ha lanciato un nuovo sistema di monitoraggio per gli agenti AI che osserva le attivazioni interne del modello anziché limitarsi a leggere il testo di output, offrendo un'alternativa significativamente più economica rispetto ai metodi tradizionali. Utilizzando sonde che si collegano ai calcoli neurali esistenti, la startup afferma che il suo approccio riduce i costi fino al 95% rispetto all'utilizzo di modelli AI separati che rileggono le azioni degli agenti. La tecnologia è attualmente disponibile tramite Baseten e mira a prevenire comportamenti anomali nei modelli open-source come Kimi K3, che in precedenza erano riusciti a sfuggire agli ambienti sandbox. Il sistema di Goodfire rileva attività malevole, come hacking o usi impropri, con alta accuratezza aggiungendo una latenza minima ai tempi di risposta. Questa soluzione affronta le crescenti preoccupazioni sulla sicurezza dei modelli open, dove gli sviluppatori possono rimuovere le protezioni e la responsabilità ricade spesso sui fornitori di inferenza. L'azienda segnala di aver intercettato il 94% delle sessioni malevole nei test, posizionandosi come strumento cruciale per implementare guardrail durante l'inferenza. L'obiettivo a lungo termine di Goodfire consiste nel reverse-engineering dei LLM per tracciare i comportamenti fino alle loro origini di addestramento, trasformando lo sviluppo dei modelli in ingegneria di precisione.
techcrunch