Anthropic warnt vor der Nähe zur Fähigkeit des selbstbauenden KI
techcrunch ·
In seiner überarbeiteten S-1A-Einreichung gab das KI-Labor Anthropic bekannt, dass es der Fähigkeit zur rekursiven Selbstverbesserung (RSI) nahekommt – einem Schwellenwert, an dem KI seine eigene Entwicklung erheblich beschleunigen kann. Das Unternehmen warnt davor, dass der Einsatz von KI zum Bau leistungsfähigerer Modelle erhebliche Sicherheitsrisiken birgt, da er die menschliche Fähigkeit, notwendige Sicherheits- und Ausrichtungsmaßnahmen zu implementieren, möglicherweise übertrifft. Zwar betont Anthropic, dass keine aktuellen Modelle diesen RSI-Schwellenwert bereits überschritten haben, interne Schätzungen deuten jedoch darauf hin, dass sie ihre Definition einer dramatisch beschleunigten Fortschrittsrate durch KI möglicherweise unmittelbar erreichen werden. Diese Offenlegung unterstreicht die Dualität der RSI als sowohl Versprechen für beispiellose Produktivität als auch Gefahr eines potenziellen Kontrollverlusts. Um diese Risiken zu mindern, hebt Anthropic sein Engagement hervor, Menschen während der Entwicklung von Frontier-Modellen durch seine Responsible Scaling Policy einzubinden. Die Einreichung vermerkt zudem, dass frühere Fortschritte Sprünge in der Leistungsfähigkeit umfassten, die zum Zeitpunkt ihrer Entwicklung nicht sofort erkannt wurden. Während Skeptiker solche Aussagen als Teil des IPO-Marketings betrachten, verleiht das rasante Wachstum der Coding- und Cybersicherheitsfähigkeiten von Claude dieser Sorge Glaubwürdigkeit. Letztlich schlägt der Artikel vor, dass Stakeholder die Möglichkeit, sich der RSI zu nähern, ernst nehmen und geeignete Governance-Maßnahmen in Betracht ziehen sollten.
techcrunch