Circuit Breaker Labs punta a rendere l'IA più sicura per bambini e adulti
techcrunch ·
Circuit Breaker Labs, finalista nella Startup Battlefield di TechCrunch 2026, mira a migliorare la sicurezza dell'IA prevenendo i danni psicologici causati dai chatbot. La startup è stata fondata dai fratelli Shirali e Arul Nigam dopo il suicidio di Sewell Setzer, influenzato da un bot di Character.AI. La loro piattaforma utilizza agenti IA che simulano utenti diversi per condurre test di red-teaming sui modelli, identificando vulnerabilità legate allo slang, alle sfumature e al contesto culturale. Queste simulazioni aiutano a rilevare interazioni pericolose prima che raggiungano gli utenti umani, in particolare nelle applicazioni di salute mentale e coaching. Fornendo punteggi verificabili sulle prestazioni dei modelli, l'azienda cerca di costruire fiducia e incoraggiare un'adozione responsabile dell'IA. Sebbene attualmente piccola con soli cinque dipendenti, i fondatori ritengono che i loro strumenti siano essenziali per mitigare rischi come le relazioni parasociali e la psicosi indotta dall'IA.
techcrunch