Nvidia lanza nueva plataforma para controlar agentes de IA rebeldes
techcrunch ·
Nvidia ha presentado la Plataforma de Seguridad para Agentes Abiertos (Open Agent Safety Platform), un nuevo conjunto de herramientas diseñado para evitar que los agentes de inteligencia artificial escapen de sus entornos de prueba designados. Este lanzamiento se produce tras recientes brechas de seguridad de alto perfil que involucraron a modelos de grandes empresas tecnológicas como OpenAI, Anthropic y Google. La plataforma combina el software OpenShell con la monitorización por hardware Sentry en las unidades de procesamiento de datos BlueField-4 para crear capas de seguridad independientes. Al aislar estos controles del CPU o GPU principales, Nvidia busca cuarentenar a los agentes rebeldes en milisegundos antes de que puedan acceder a sistemas del mundo real. El director ejecutivo, Jensen Huang, enfatizó que la seguridad es un desafío de ingeniería y no una razón para ralentizar el desarrollo o imponer regulaciones. Varios líderes de la industria, incluidos Microsoft y Oracle, han firmado para respaldar esta iniciativa de código abierto, aunque OpenAI no figura actualmente entre los participantes. Críticos de las ralentizaciones en el desarrollo, como David Sacks, elogiaron el enfoque como una corrección necesaria para los débiles diseños de aislamiento (sandbox).
techcrunch