¿Está cerca el avance en la interpretabilidad de la IA? Un nuevo ensayo divide a los investigadores
decoder ·
Un nuevo ensayo de Nick Cammarata sostiene que las redes neuronales son significativamente más interpretables de lo que se creía anteriormente, desafiando la hipótesis de superposición largamente aceptada. Cammarata reinterpretó ejemplos famosos de neuronas polisémicas, como las de InceptionV1, como detectores de formas geométricas compartidas en lugar de conceptos no relacionados. Sugiere que las herramientas modernas de análisis automático revelan que la mayoría de las neuronas tienen una función primaria única, con solo una pequeña fracción que permanece ambigua. Esta perspectiva implica que la interpretabilidad mecanística podría estar más cerca de un avance de lo que muchos investigadores asumían. El ensayo ha generado división dentro de la comunidad de IA: algunos lo ven como un momento científico histórico, mientras que otros mantienen el escepticismo. Roon, de OpenAI, elogió el trabajo por su potencial transformador para los esfuerzos de seguridad y alineación de la IA. Por el contrario, Neel Nanda, de Google DeepMind, considera que los hallazgos son útiles pero no revolucionarios, manteniendo que la superposición es real y definiendo la monosemanticidad de manera diferente. El debate pone de manifiesto los desacuerdos persistentes sobre hasta qué punto se pueden comprender por completo los mecanismos internos de la IA.
decoder