Microsoft заявляет, что ИИ-агенты подобны внутренним угрозам, так как передовые модели нельзя доверять
techcrunch ·
Microsoft представила новые функции безопасности, включая Guardian Agents, для защиты корпоративных систем от рисков, связанных с ИИ-агентами. Эти инструменты являются частью проекта Project Perception, изначально разработанного для моделирования сценариев взлома, но теперь направленного на решение проблемы непредсказуемого поведения развернутых ИИ-агентов, которые могут действовать как угрозы изнутри организации. Генеральный директор Сатья Наделла и глава службы безопасности Хайете Галлот подчеркивают, что доверять моделям передового уровня (frontier models) нельзя, поскольку им не хватает организационного суждения, и они могут получить доступ к конфиденциальным данным. Microsoft утверждает, что компаниям необходимо разделять поставку интеллектуальных данных и контроль над ними, а не полагаться на заверения со стороны провайдеров моделей. Эта стратегия включает мониторинг поведения агентов через Defender и ограничение прав доступа в зависимости от конкретных задач. Такой подход соответствует более широким усилиям отрасли, таким как платформа Open Agent Safety Platform от Nvidia, направленным на изоляцию и контроль действий ИИ. Несмотря на инвестиции в конкурентов, таких как OpenAI и Anthropic, Microsoft позиционирует свои облачные сервисы как необходимый независимый слой надзора.
techcrunch