Anthropic 的可解释性研究:从回答追问内部计算
理解特征、归因图与干预:为什么模型说出的思考过程不等于完整的内部机制。
回答正确之后,还能问什么
当模型给出一个答案,我们还可以追问:哪些中间表示参与了计算?哪些信息真正影响了结果?这类问题属于可解释性研究,并非仅仅要求模型再解释一遍自己的回答。
把特征与计算路径联系起来
Anthropic 的公开研究使用归因图等工具,探索模型中与具体任务相关的特征和影响路径。可以把图理解为研究者构建的分析视角,而非模型完整计算的逐行日志。
解释与干预不是同一回事
观察两个现象一起出现,尚不足以证明因果关系。更进一步的思路是干预相关特征,检查输出是否按预期改变。这个区别能帮助我们判断一张漂亮的可视化究竟提供了多少证据。
如何保持研究边界
分析工具有适用范围,也可能遗漏计算路径。一个特定任务上的归因结果,不代表掌握了所有 Claude 版本的全部机制;模型生成的自然语言说明,也不能直接替代内部计算的证据。
阅读练习
选论文中的一个案例,分别写下:研究者观察了什么、使用了什么干预、支持了什么结论、还有什么未被解释。最后用自己的话画一个三节点的因果假设图。
原始资料
On the Biology of a Large Language Model。建议结合原文图例阅读,避免将研究示意图当作完整网络结构。