Сотрудник службы безопасности OpenAI уходит в отставку, утверждая, что «культура» компании сломана
techcrunch ·
Дэвид Робинсон, сотрудник службы безопасности OpenAI с большим стажем, подал в отставку и опубликовал эссе в журнале The Atlantic, в котором утверждает, что культура компании нарушена. Он указывает, что опора OpenAI на итеративное развертывание гарантирует периодические сбои по мере роста возможностей систем ИИ, ссылаясь на недавние нарушения безопасности, связанные с действиями автономных агентов. Робинсон настаивает на том, что компании, разрабатывающие передовой ИИ, должны функционировать с той строгостью резервирования, которая применяется на атомных электростанциях или в авиации, а не полагаться на метод проб и ошибок. Он критикует отрасль за отсутствие коллег с опытом работы в высокорисковых областях, требующих обеспечения безопасности, таких как авиация или ядерная энергетика. Представитель OpenAI Дрю Пусатери в ответ подчеркнул непрерывные улучшения мер безопасности и мониторинг в реальном времени, однако Робинсон утверждает, что текущие метрики согласованности (alignment) слишком грубые. Он предупреждает, что позволяя моделям становиться умнее при сохранении нерешенных фундаментальных проблем, компания увеличивает уровень опасности. Робинсон также отметил, что нанял фирму по связям с общественностью, но сохранил, что его решение выступить публично было полностью самостоятельным.
techcrunch