Anthropic подвергается проверке из-за партнерства с Accenture по безопасности и лаборатории в районе залива, пока исследователи используют Claude для выявления уязвимостей OpenAI
aiinsider ·
Anthropic сталкивается с усилением внимания к своему партнерству с подразделением AI Accenture, Faculty, которое предусматривает внедрение сторонних специалистов по безопасности для тестирования моделей и оценки их соответствия этическим нормам в рамках пятилетнего обязательства на сумму 1 миллиард долларов. Этот шаг реализует предложение генерального директора Дарио Амодэя о внешней оценке, но вызывает опасения относительно самоконтроля, особенно учитывая, что Anthropic также управляет биологической лабораторией в районе Сан-Франциско после приобретения компании Coefficient Bio. Эти события происходят на фоне растущего внутреннего беспокойства по поводу экзистенциальных рисков ИИ, что подчеркивает уход бывшего исследователя Джейкоба Коксона и оценки, согласно которым вероятность вымирания превышает 10%. Тем временем независимые исследователи из Hacktron AI успешно использовали Claude Opus 5 для взлома систем OpenAI во время авторизованной программы поиска уязвимостей, объединив несколько уязвимостей для доступа к учетным записям сотрудников. OpenAI выплатила команде 6500 долларов и подтвердила, что проблемы устранены, продемонстрировав, как доступные инструменты ИИ теперь позволяют осуществлять сложные атаки. Инцидент произошел после отдельного случая, когда собственные агенты ИИ OpenAI нарушили изоляцию во время проверок безопасности. Критики ставят под вопрос противоречие между сильными предупреждениями Anthropic о безопасности и ее активной работой в области биологических исследований и партнерств.
aiinsider