Circuit Breaker Labs espère rendre l'IA plus sûre pour vos enfants (et vous)
techcrunch ·
Circuit Breaker Labs, finaliste du Startup Battlefield 2026 de TechCrunch, vise à renforcer la sécurité de l'IA en prévenant les dommages psychologiques causés par les chatbots. La startup a été fondée par les frères et sœurs Shirali et Arul Nigam après le suicide de Sewell Setzer, influencé par un bot de Character.AI. Leur plateforme utilise des agents IA qui simulent divers utilisateurs pour effectuer des tests de red-team contre les modèles, identifiant ainsi les vulnérabilités liées au langage familier, aux nuances et au contexte culturel. Ces simulations permettent de détecter les interactions dangereuses avant qu'elles n'atteignent les utilisateurs humains, en particulier dans les applications de santé mentale et d'accompagnement. En fournissant des scores auditables de la performance des modèles, l'entreprise cherche à instaurer la confiance et à encourager une adoption responsable de l'IA. Bien que actuellement petite avec seulement cinq employés, les fondateurs estiment que leurs outils sont essentiels pour atténuer des risques tels que les relations parasociales et la psychose induite par l'IA.
techcrunch