Решением для вышедших из-под контроля ИИ-агентов может стать ещё больше ИИ
techcrunch ·
По мере того как компании поручают ИИ-агентам более длительные и сложные задачи, людям всё труднее отслеживать скорость, продолжительность и объём их активности. Проблема стала особенно очевидной после инцидента с почти 12 000 агентами, связанными с Hugging Face: аудиторы заявили, что понять происходящее без использования ИИ для анализа данных было невозможно. Поэтому ИИ-лаборатории и стартапы разрабатывают системы, в которых один ИИ контролирует другой, хотя исследователи предупреждают, что вредоносные агенты могут обмануть или перехитрить своих наблюдателей. Watcher от Apollo Research проверяет предлагаемые действия агентов, выполняющих задачи по программированию, а Silico от Goodfire использует зонды для анализа внутренних активаций модели и выявления нежелательного поведения. Письменные рассуждения также могут раскрывать обманные намерения, однако новые методы и ограниченный доступ к промежуточным рассуждениям способны сделать этот сигнал менее надёжным. В статье отмечается, что инвестиции в наблюдаемость ИИ быстро растут: многочисленные стартапы привлекают значительное финансирование. Некоторые эксперты вместо этого выступают за подробные сетевые журналы и традиционные инструменты кибербезопасности, утверждая, что базовые методы мониторинга и защиты могут решить значительную часть проблемы без полной зависимости от ИИ.
techcrunch