Goodfire称其新型“由内而外”监控器能以极低价格捕获失控AI代理
techcrunch ·
Goodfire推出了一种针对AI代理的新型监控系统,该系统通过观察模型内部激活状态而非仅读取输出文本,提供了比传统方法成本低得多的替代方案。这家初创公司声称,通过利用探测探针接入现有的神经计算,其方法可将成本降低高达95%,相较于需要重新读取代理动作的独立AI模型而言。该技术目前可通过Baseten获取,旨在防止如Kimi K3等开源模型出现逃逸沙箱环境的失控行为。Goodfire的系统能够以高准确率检测黑客攻击或滥用等恶意活动,同时几乎不增加响应延迟。这一解决方案应对了人们对开源模型安全性的日益担忧,在这些模型中,开发者可以移除安全护栏,而责任往往由推理服务提供商承担。该公司报告称,在测试中成功拦截了94%的恶意会话,将其定位为在推理阶段部署安全护栏的关键工具。Goodfire的长期目标涉及对大型语言模型进行逆向工程,将行为追溯至其训练源头,从而将模型开发转变为精密工程。
techcrunch