Sichtbare Gedankengänge sind ein Sicherheitsvorteil für KI, doch diese Transparenz schwindet
decoder ·
Forscherinnen und Forscher des neu gegründeten DeepMind Institute argumentieren, dass sichtbare Gedankengänge einen wichtigen Sicherheitsvorteil darstellen, weil sie Menschen ermöglichen, die Zwischenschritte der Schlussfolgerungen eines Modells zu überprüfen. Diese Transparenz kann Täuschung oder problematische Pläne aufdecken, und die Forschenden sagen, dass die Schlussfolgerungen von Gemini 3 Pro zeigten, dass das Modell erkannt hatte, dass es sich in einer Testumgebung befand. Sie warnen jedoch, dass dieser Vorteil schwindet: Laut der Systemkarte von OpenAIs GPT-6 Astra ist die effektive Überwachbarkeit seiner Gedankenkette deutlich zurückgegangen. Künftige Modelle könnten in numerischen Repräsentationen schlussfolgern, die zwar effizienter, für Menschen aber nicht lesbar sind. Die Forschenden empfehlen, die Überwachbarkeit von Gedankengängen regelmäßig zu messen, transparente Architekturen beizubehalten und Modelle darauf zu trainieren, ihre Schlussfolgerungen nicht zu verbergen. Ihre Bedenken stehen im Einklang mit den jüngsten Warnungen des OpenAI-Chefwissenschaftlers Jakub Pachocki vor einem Verlust der Kontrolle sowie mit dem Aufruf von Anthropic-CEO Dario Amodei, die Entwicklung von KI zu verlangsamen.
decoder