智能体能解开神经元“多义性”？Goodfire 提出新假说

核心观点：神经网络可能比我们以为的更容易解释

Goodfire 的 Nick Cammarata 提出了一项工作假说：神经网络内部的结构可能已经相当清晰，部分看似纠缠不清的现象，可以通过进一步的智能体分析得到解释。

他将这一观点概括为“神经网络本就清晰”（Neural Networks Are Already Clean），并认为，一些被视为多义性或叠加现象的案例，并不一定意味着模型内部存在难以解开的结构性纠缠。

争议焦点是什么？

这场讨论涉及两个概念：

• 多义性（Polysemanticity）：一个神经元似乎会响应多个不同概念，难以用单一功能解释。
• 叠加（Superposition）：多个特征以共享表示空间的方式编码，使内部表示更难直接解读。

Cammarata 的主张是，借助更深入的智能体分析，一些表面上具有多重含义的神经元，可能呈现出更统一的功能解释。这也指向一种研究路径：直接研究模型自身的神经元，而不必总是先借助另一个模型拆解其表示。

哪些结论还不能下？

“一些案例可以被更好地解释”，不等于“多义性和叠加已被全面推翻”。

目前提供的材料没有展开实验方法、神经元功能的判定标准、完整评估结果或独立复现情况，因此尚不足以判断这一假说适用于哪些模型、层级和任务。

同样，可解释性研究的新进展，也不能直接等同于对齐能力已经显著提升，更不能据此认定 AI 风险已经下降。

值得讨论的问题

这项假说真正值得追问的是：当一个神经元看起来对应多个概念时，究竟是它确实承担了多种功能，还是分析尚未找到能够统一解释这些响应的规律？

要区分这两种情况，还需要明确的判定标准、可检验的实验，以及跨模型的验证。