L'interprétabilité de l'IA est-elle proche d'une percée ? Un nouvel essai divise les chercheurs
decoder ·
Un nouvel essai de Nick Cammarata soutient que les réseaux neuronaux sont beaucoup plus interprétables qu'on ne le croyait auparavant, remettant en cause l'hypothèse de superposition longtemps admise. Cammarata réinterprète des exemples célèbres de neurones polysémiques, tels que ceux d'InceptionV1, comme des détecteurs de formes géométriques partagées plutôt que de concepts sans rapport. Il suggère que les outils modernes d'analyse automatique révèlent que la plupart des neurones ont une fonction principale unique, seule une petite fraction restant ambiguë. Cette perspective implique que l'interprétabilité mécaniste pourrait être plus proche d'une percée que ce que nombreux chercheurs supposaient. L'essai a divisé la communauté de l'IA : certains y voient un moment scientifique historique, tandis que d'autres restent sceptiques. Roon, d'OpenAI, a salué ce travail comme potentiellement transformateur pour les efforts de sécurité et d'alignement de l'IA. En revanche, Neel Nanda de Google DeepMind considère les résultats utiles mais non révolutionnaires, affirmant que la superposition est réelle et définissant la monosémie différemment. Ce débat met en lumière les désaccords persistants sur la mesure dans laquelle on peut comprendre pleinement les mécanismes internes de l'IA.
decoder