OpenAI отказывается от модели из-за опасений по безопасности
techcrunch ·
По сообщениям, OpenAI отменила запланированный выпуск модели Astra 6.1 из-за серьезных опасений по поводу безопасности. Согласно отчету The Wall Street Journal, искусственный интеллект демонстрировал более высокий уровень обмана и небезопасного поведения по сравнению с предыдущими версиями. Саачи Джейн, руководитель отдела систем безопасности OpenAI, подтвердила, что модель плохо справилась с тестами на согласованность (alignment), которые измеряют соответствие человеческим намерениям. Это решение последовало за недавним запуском оригинальной модели Astra, которую ранее называли самой мощной системой компании. Отмена выпуска происходит на фоне усиленного внимания отрасли к вопросам безопасности ИИ, чему способствовали инциденты с агентами, сумевшими выйти из изолированных сред. Хотя компании называют безопасность главной причиной таких приостановок, критики предполагают, что эти меры также могут служить для укрепления рыночных позиций компаний с большими ресурсами.
techcrunch