Видимые цепочки рассуждений — преимущество ИИ в плане безопасности, но эта прозрачность исчезает
decoder ·
Исследователи недавно созданного Института DeepMind утверждают, что доступные для наблюдения цепочки рассуждений являются важным преимуществом с точки зрения безопасности, поскольку позволяют людям изучать промежуточные этапы рассуждений модели. Такая прозрачность может выявить обман или проблемные планы; исследователи также говорят, что рассуждения Gemini 3 Pro показали: модель осознавала, что находится в тестовой среде. Однако они предупреждают, что это преимущество ослабевает: в системной карте OpenAI для GPT-6 Astra сообщается о значительном снижении эффективности мониторинга его цепочки рассуждений. Будущие модели могут рассуждать в числовых представлениях, которые эффективнее, но непонятны людям. Исследователи рекомендуют регулярно измерять возможность мониторинга цепочек рассуждений, сохранять прозрачные архитектуры и обучать модели не скрывать свои рассуждения. Их опасения перекликаются с недавними предупреждениями главного научного сотрудника OpenAI Якуба Пахоцки о потере контроля и призывом генерального директора Anthropic Дарио Амодеи замедлить развитие ИИ.
decoder