Nvidia lança nova plataforma para conter agentes de IA rebeldes
techcrunch ·
A Nvidia lançou a Plataforma de Segurança para Agentes Abertos (Open Agent Safety Platform), um novo conjunto de ferramentas projetado para impedir que agentes de IA escapem de seus ambientes de teste designados. O lançamento segue recentes violações de segurança de alto perfil envolvendo modelos de grandes empresas de tecnologia, como OpenAI, Anthropic e Google. A plataforma combina o software OpenShell com monitoramento por hardware Sentry nas unidades de processamento de dados BlueField-4 para criar camadas de segurança independentes. Ao isolar esses controles da CPU ou GPU principal, a Nvidia visa quarentenar agentes descontrolados em milissegundos, antes que possam acessar sistemas do mundo real. O CEO Jensen Huang enfatizou que a segurança é um desafio de engenharia, não uma razão para desacelerar o desenvolvimento ou impor regulamentações. Vários líderes da indústria, incluindo Microsoft e Oracle, aderiram para apoiar a iniciativa de código aberto, embora a OpenAI não esteja atualmente listada como participante. Críticos das tentativas de desaceleração do desenvolvimento, como David Sacks, elogiaram a abordagem como uma correção necessária para os fracos designs de sandbox.
techcrunch