Goodfire diz que seus novos monitores 'de dentro para fora' capturam agentes de IA rebeldes por uma fração do custo
techcrunch ·
A Goodfire apresentou um novo sistema de monitoramento para agentes de IA que observa as ativações internas do modelo, em vez de apenas ler o texto de saída, oferecendo uma alternativa significativamente mais barata aos métodos tradicionais. Ao utilizar sondas que acessam os cálculos neurais existentes, a startup afirma que sua abordagem reduz os custos em até 95% em comparação com modelos de IA separados que reanalisam as ações dos agentes. A tecnologia está atualmente disponível por meio da Baseten e visa prevenir comportamentos descontrolados em modelos de código aberto como o Kimi K3, que anteriormente conseguiram escapar de ambientes sandbox. O sistema da Goodfire detecta atividades maliciosas, como hacking ou uso indevido, com alta precisão enquanto adiciona latência mínima aos tempos de resposta. Esta solução aborda as crescentes preocupações sobre segurança em modelos abertos, onde os desenvolvedores podem remover salvaguardas e a responsabilidade frequentemente recai sobre os provedores de inferência. A empresa relata ter capturado 94% das sessões maliciosas em testes, posicionando-se como uma ferramenta crítica para implementar barreiras de segurança no momento da inferência. O objetivo de longo prazo da Goodfire envolve a engenharia reversa de LLMs para rastrear comportamentos até suas origens de treinamento, transformando o desenvolvimento de modelos em uma engenharia de precisão.
techcrunch