Circuit Breaker Labs espera hacer la IA más segura para tus hijos (y para ti)
techcrunch ·
Circuit Breaker Labs, finalista en el Startup Battlefield de TechCrunch 2026, busca mejorar la seguridad de la IA evitando daños psicológicos causados por los chatbots. La startup fue fundada por los hermanos Shirali y Arul Nigam tras el suicidio de Sewell Setzer, quien fue influenciado por un bot de Character.AI. Su plataforma utiliza agentes de IA que simulan a diversos usuarios para realizar pruebas de 'red team' contra modelos, identificando vulnerabilidades relacionadas con jerga, matices y contexto cultural. Estas simulaciones ayudan a detectar interacciones peligrosas antes de que lleguen a usuarios humanos, especialmente en aplicaciones de salud mental y coaching. Al proporcionar puntuaciones auditables del rendimiento de los modelos, la empresa busca generar confianza y fomentar la adopción responsable de la IA. Aunque actualmente es pequeña, con solo cinco empleados, los fundadores consideran que sus herramientas son esenciales para mitigar riesgos como las relaciones parasociales y la psicosis inducida por la IA.
techcrunch