A interpretabilidade da IA está perto de um avanço? Um novo ensaio divide pesquisadores
decoder ·
Um novo ensaio de Nick Cammarata argumenta que as redes neurais são significativamente mais interpretáveis do que se acreditava anteriormente, desafiando a hipótese da superposição há muito aceita. Cammarata reinterpreta exemplos famosos de neurônios polisseânticos, como os do InceptionV1, como detectores de formas geométricas compartilhadas em vez de conceitos não relacionados. Ele sugere que ferramentas modernas de análise automática revelam que a maioria dos neurônios tem uma única função primária, com apenas uma pequena fração permanecendo ambígua. Essa perspectiva implica que a interpretabilidade mecanicista pode estar mais próxima de um avanço significativo do que muitos pesquisadores assumiam. O ensaio provocou divisão na comunidade de IA, com alguns o vendo como um momento científico histórico, enquanto outros mantêm ceticismo. Roon, da OpenAI, elogiou o trabalho como potencialmente transformador para os esforços de segurança e alinhamento da IA. Por outro lado, Neel Nanda, do Google DeepMind, considera as descobertas úteis, mas não revolucionárias, mantendo que a superposição é real e definindo a monosemanticidade de maneira diferente. O debate destaca desacordos contínuos sobre até que ponto os mecanismos internos da IA podem ser totalmente compreendidos.
decoder