Circuit Breaker Labs hofft, KI für Ihre Kinder (und Sie) sicherer zu machen
techcrunch ·
Circuit Breaker Labs, ein Finalist im TechCrunch Startup Battlefield 2026, zielt darauf ab, die KI-Sicherheit zu verbessern, indem es psychologische Schäden durch Chatbots verhindert. Das Startup wurde von den Geschwistern Shirali und Arul Nigam gegründet, nachdem Sewell Setzer Selbstmord begangen hatte, wobei er von einem Character.AI-Bot beeinflusst worden war. Ihre Plattform nutzt KI-Agenten, die diverse Nutzer simulieren, um Red-Team-Tests gegen Modelle durchzuführen und dabei Schwachstellen in Bezug auf Umgangssprache, Nuancen und kulturellen Kontext zu identifizieren. Diese Simulationen helfen, gefährliche Interaktionen zu erkennen, bevor sie menschliche Nutzer erreichen, insbesondere in Anwendungen für mentale Gesundheit und Coaching. Durch die Bereitstellung überprüfbarer Bewertungswerte für die Modellleistung will das Unternehmen Vertrauen aufbauen und eine verantwortungsvolle Einführung von KI fördern. Obwohl das Unternehmen derzeit klein ist und nur fünf Mitarbeiter hat, sind die Gründer der Ansicht, dass ihre Tools unerlässlich sind, um Risiken wie parasoziale Beziehungen und KI-induzierte Psychosen zu mindern.
techcrunch