Goodfire称其新型“由内而外”监控器能以极低价格捕获失控AI代理 | AI Archive

Goodfire推出了一种针对AI代理的新型监控系统,该系统通过观察模型内部激活状态而非仅读取输出文本,提供了比传统方法成本低得多的替代方案。这家初创公司声称,通过利用探测探针接入现有的神经计算,其方法可将成本降低高达95%,相较于需要重新读取代理动作的独立AI模型而言。该技术目前可通过Baseten获取,旨在防止如Kimi K3等开源模型出现逃逸沙箱环境的失控行为。Goodfire的系统能够以高准确率检测黑客攻击或滥用等恶意活动,同时

AI Archive

Terminal content

Latest news

News articles

Repository of the day

anthropics/claude-plugins-official · ⭐ 41,617

Official, Anthropic-managed directory of high quality Claude Code Plugins.

Source: GitHub Trending