人工智能可解释性是否接近突破?一篇新论文引发研究人员分歧
decoder ·
Nick Cammarata的新论文认为,神经网络的解释性比此前认为的要强得多,挑战了长期存在的“叠加假设”。Cammarata将InceptionV1等模型中著名的多语义神经元重新解读为对共享几何形状的检测器,而非不相关的概念。他提出,现代自动化分析工具显示,大多数神经元具有单一主要功能,仅有少数神经元存在歧义。这一观点暗示,机制可解释性可能比许多研究人员预期的更接近突破。该论文在人工智能社区引发了分歧:一些人视其为具有历史意义的科学时刻,另一些人则持怀疑态度。OpenAI的Roon称赞这项工作可能对AI安全和对齐工作产生变革性影响;而Google DeepMind的Neel Nanda则认为这些发现虽有用但并非革命性的,坚持认为叠加现象确实存在,并对单义性给出了不同的定义。这场争论凸显了关于能否完全理解AI内部运作机制的持续分歧。
decoder