Ist KI-Interpretierbarkeit kurz vor einem Durchbruch? Ein neuer Aufsatz spaltet die Forscher
decoder ·
Ein neuer Aufsatz von Nick Cammarata argumentiert, dass neuronale Netze deutlich interpretierbarer sind als zuvor angenommen, und stellt die lange vertretene Superpositions-Hypothese in Frage. Cammarata reinterpretiert berühmte Beispiele polysemanter Neuronen, wie sie in InceptionV1 vorkommen, als Detektoren für gemeinsame geometrische Formen anstelle unabhängiger Konzepte. Er schlägt vor, dass moderne automatisierte Analysewerkzeuge zeigen, dass die meisten Neuronen eine einzige primäre Funktion haben, während nur ein kleiner Teil mehrdeutig bleibt. Diese Perspektive impliziert, dass die mechanistische Interpretierbarkeit näher an einem Durchbruch sein könnte, als viele Forscher annahmen. Der Aufsatz hat die KI-Community gespalten: Einige betrachten ihn als historischen wissenschaftlichen Moment, andere bleiben skeptisch. Roon von OpenAI lobte die Arbeit als potenziell transformativ für die Bemühungen um KI-Sicherheit und Alignment. Neel Nanda von Google DeepMind hingegen hält die Erkenntnisse für nützlich, aber nicht revolutionär, behält bei, dass Superposition real ist, und definiert Monosemantizität anders. Die Debatte unterstreicht anhaltende Uneinigkeiten darüber, inwieweit die inneren workings von KI vollständig verstanden werden können.
decoder