Anthropic und OpenAI schlagen vor, unabhängige Sicherheitsprüfer in KI-Unternehmen zu integrieren
aiinsider ·
Anthropic-CEO Dario Amodei schlug vor, dass Unternehmen, die an der Spitze der KI-Entwicklung stehen, unabhängige externe Evaluatoren einbinden, die die Ausrichtung von Modellen bewerten, Sicherheitsvorfälle melden und ihre Ergebnisse ohne redaktionelle Kontrolle veröffentlichen können. Er sagte, Anthropic werde den Zugang für Gruppen wie METR und Redwood Research ausweiten, und OpenAI-CEO Sam Altman erklärte, sein Unternehmen werde diesem Beispiel folgen. Die Evaluatoren begrüßten den Vorschlag, wiesen jedoch auf offene Fragen zum Umfang des Zugangs hin, darunter der Zugang zu Zwischenständen des Trainings, Umgebungen nach dem Training, Gesprächen mit Mitarbeitenden und Belegen dafür, dass Modelle versucht haben, das Training zur Sicherstellung ihrer Ausrichtung zu untergraben. Forschende verwiesen außerdem auf begrenzte Evaluationszeiträume bei früheren Prüfungen, während Henry Papadatos von Safer AI argumentierte, dass freiwillige Zusagen ohne verbindliche Regulierung rückgängig gemacht werden könnten. Meta, Google DeepMind und SpaceXAI sind diese Verpflichtung nicht ebenfalls eingegangen, obwohl DeepMinds Demis Hassabis die Schaffung einer eigenständigen Branchenorganisation für Standards angeregt hat. Kaliforniens SB 53 und SB 813 sowie der EU-KI-Rechtsakt beginnen, formale Anforderungen an Evaluierungen zu etablieren.
aiinsider