A solução para agentes de IA descontrolados pode ser mais IA
techcrunch ·
À medida que as empresas atribuem tarefas mais longas e complexas a agentes de IA, os humanos têm dificuldade para monitorar a velocidade, a duração e o volume de suas atividades. O problema foi destacado por um incidente envolvendo quase 12.000 agentes associados à Hugging Face, que, segundo os auditores, era impossível de compreender sem usar IA para analisar os dados. Por isso, laboratórios e startups de IA estão desenvolvendo sistemas que usam uma IA para monitorar outra, embora pesquisadores alertem que agentes maliciosos possam enganar ou superar seus monitores. O Watcher, da Apollo Research, analisa ações propostas por agentes de programação, enquanto o Silico, da Goodfire, usa sondas das ativações internas dos modelos para detectar comportamentos indesejados. O raciocínio escrito também pode revelar uma intenção enganosa, mas técnicas emergentes e o acesso restrito ao raciocínio intermediário podem tornar esse sinal menos confiável. O artigo observa que os investimentos em observabilidade de IA estão crescendo rapidamente, com inúmeras startups captando financiamentos substanciais. Alguns especialistas, por outro lado, defendem registros detalhados de rede e ferramentas convencionais de cibersegurança, argumentando que práticas básicas de monitoramento e segurança podem resolver grande parte do problema sem depender inteiramente de IA.
techcrunch