A segurança da IA é um problema de engenharia: como resolvê-lo em todas as camadas da pilha de agentes
nvidia ·
O artigo argumenta que a segurança de IA é fundamentalmente um desafio de engenharia, exigindo requisitos definidos, controles aplicáveis e propriedade clara em todas as camadas da pilha de agentes. Enfatiza que, embora os agentes de IA introduzam novas capacidades, como raciocínio e uso de ferramentas, princípios básicos de segurança, como verificação de identidade e controle de acesso, permanecem essenciais. A proteção deve ser integrada ao ambiente de execução por meio de execução em sandbox e aplicação rigorosa de políticas, garantindo que os agentes não possam autorizar permissões elevadas para si mesmos. O OpenShell da NVIDIA serve como exemplo de runtime seguro, com parceiros como Cisco e JFrog adicionando camadas de governança e verificação de habilidades. O texto destaca a necessidade de testes contínuos e validação baseada em evidências antes da implantação, para assegurar que os controles bloqueiem efetivamente transferências não autorizadas de dados ou o roubo de credenciais. Os defensores são incentivados a utilizar modelos abertos e fechados para inspecionar componentes e reproduzir falhas em ambientes controlados. Por fim, a indústria é instada a compartilhar descobertas e ferramentas por meio de iniciativas como a Open Secure AI Alliance, a fim de acelerar as melhorias defensivas.
nvidia