Circuit Breaker Labs 希望让 AI 对您的孩子(和您)更安全
techcrunch ·
Circuit Breaker Labs是TechCrunch 2026年Startup Battlefield的决赛入围者,旨在通过防止聊天机器人造成的心理伤害来提升AI安全性。该公司由兄妹Shirali和Arul Nigam创立,起因是Sewell Setzer受Character.AI机器人影响而自杀。其平台利用模拟多样化用户的AI代理对模型进行红队测试,识别与俚语、细微差别和文化背景相关的漏洞。这些模拟有助于在危险交互触及人类用户之前将其检测出来,特别是在心理健康和辅导应用中。通过提供可审计的模型性能评分,该公司希望建立信任并推动负责任的AI采用。尽管目前仅有五名员工,但创始人认为他们的工具对于缓解寄生关系和AI诱发的精神病等风险至关重要。
techcrunch