Безопасность ИИ — это инженерная задача: как решить её на каждом уровне стека агентов
nvidia ·
В статье утверждается, что безопасность ИИ — это прежде всего инженерная задача, требующая четких требований, обеспечиваемых мер контроля и явного распределения ответственности на каждом уровне стека агентов. Подчеркивается, что, хотя ИИ-агенты предлагают новые возможности, такие как рассуждение и использование инструментов, фундаментальные принципы безопасности, включая проверку идентичности и контроль доступа, остаются критически важными. Защита должна быть интегрирована в среду выполнения через изолированное выполнение (sandboxed execution) и строгое соблюдение политик, чтобы гарантировать, что агенты не могут самостоятельно запрашивать повышенные права. В качестве примера безопасной среды выполнения приводится NVIDIA OpenShell, а такие партнеры, как Cisco и JFrog, добавляют уровни управления и проверки навыков. В тексте акцентируется необходимость постоянного тестирования и обоснованного подтверждения эффективности мер перед развертыванием, чтобы обеспечить блокировку несанкционированных передач данных или кражи учетных данных. Защитникам рекомендуется использовать как открытые, так и закрытые модели для инспекции компонентов и воспроизведения сбоев в контролируемых средах. Наконец, призывается делиться выводами и инструментами через такие инициативы, как Open Secure AI Alliance, для ускорения улучшения защитных механизмов.
nvidia