Goodfire заявляет, что его новые мониторы «изнутри наружу» обнаруживают сбежавших агентов ИИ за долю стоимости
techcrunch ·
Goodfire представила новую систему мониторинга для ИИ-агентов, которая отслеживает внутренние активации модели, а не только анализирует выводимый текст, предлагая значительно более дешевую альтернативу традиционным методам. Используя зонды, которые получают доступ к существующим нейронным вычислениям, стартап утверждает, что его подход снижает затраты до 95% по сравнению с отдельными ИИ-моделями, перечитывающими действия агентов. Технология в настоящее время доступна через платформу Baseten и направлена на предотвращение неконтролируемого поведения в моделях с открытым исходным кодом, таких как Kimi K3, которые ранее удавалось вывести из песочниц. Система Goodfire с высокой точностью обнаруживает вредоносные действия, такие как взлом или misuse, добавляя минимальную задержку к времени отклика. Это решение отвечает на растущие опасения по поводу безопасности моделей с открытым исходным кодом, где разработчики могут устранять защитные механизмы, а ответственность часто ложится на провайдеров инференса. Компания сообщает о выявлении 94% вредоносных сессий в ходе тестов, позиционируя себя как критически важный инструмент для внедрения защитных ограничений на этапе инференса. Долгосрочная цель Goodfire заключается в реверс-инжиниринге больших языковых моделей (LLM) для прослеживания поведения до их обучающих данных, превращая разработку моделей в прецизионную инженерию.
techcrunch