Близка ли интерпретируемость ИИ к прорыву? Новое эссе разделило исследователей
decoder ·
Новая статья Ника Каммараты утверждает, что нейронные сети значительно более интерпретируемы, чем считалось ранее, оспаривая давно устоявшуюся гипотезу суперпозиции. Каммарата переосмысливает известные примеры полисемантических нейронов, таких как в InceptionV1, рассматривая их не как детекторы несвязанных концепций, а как детекторы общих геометрических форм. Он предполагает, что современные инструменты автоматического анализа показывают, что большинство нейронов имеют одну основную функцию, и лишь небольшая часть остается неоднозначной. Эта точка зрения подразумевает, что механистическая интерпретируемость может быть ближе к прорыву, чем предполагали многие исследователи. Статья вызвала раскол в сообществе ИИ: некоторые считают её историческим научным моментом, тогда как другие сохраняют скептицизм. Рун из OpenAI похвалил работу, назвав её потенциально трансформирующей для усилий в области безопасности и согласования ИИ. В свою очередь, Нил Нанда из Google DeepMind считает выводы полезными, но не революционными, утверждая, что суперпозиция реальна, а моносемантичность определяется им иначе. Дебаты подчеркивают продолжающиеся разногласия относительно того, насколько полностью можно понять внутренние механизмы работы ИИ.
decoder