Claude 内部的"意识工作区":解读 Anthropic 最新可解释性研究

Anthropic 最新研究发现,Claude 内部存在一个自发涌现、类似"全局工作空间"的结构 J-space,它能被报告、被调控、参与真实推理,也为 AI 安全监控提供了新工具。

阅读时长: 5 分钟
共 2471字
作者: eimoon.com

Anthropic 最近发布了一项可解释性研究:A global workspace in language models。这项研究试图回答一个有意思的问题——像 Claude 这样的语言模型内部,是否存在某种类似大脑"意识工作区"的结构?他们确实找到了证据,并把这个结构称为 J-space

下面用自己的话把这项研究的关键内容梳理一下。

灵感来源:大脑里的"全局工作空间"

人脑处理信息时,绝大部分是无意识完成的——比如控制呼吸、维持姿势,这些过程从不会"浮上心头"。但少数信息会进入意识,比如脑海中突然冒出的一个念头,或者刻意做出的一个计划。

神经科学中有个理论叫全局工作空间理论:大脑更像一堆各自独立运作的"专家模块",某条信息一旦被"广播"进入一个连接全脑的共享通道,才会变得可以被意识到、被报告、被灵活调用。

Anthropic 的研究团队想验证:类似的结构是否也会在语言模型的训练过程中自发形成。

J-space 是什么

研究团队开发了一种叫 J-lens(雅可比透镜) 的技术,通过分析模型内部的雅可比矩阵,定位出那些和"接下来更可能说出某个词"相关的激活模式。这些模式的集合就是 J-space

几个关键区别需要说明:

  • 不是思维链(chain of thought)那种写出来的文字草稿,而是完全隐藏在内部激活层面、模型"心里想"却没说出口的内容。
  • 它是训练中自发涌现的产物,不是人为设计出来的模块。
  • J-space 里某个模式"亮起",不代表模型接下来一定会说这个词,只代表这个概念此刻"浮现"在了模型的内部状态里。

五个实验,五个特性

研究通过一系列干预实验,证明了 J-space 具备与"意识工作区"高度类似的功能特征:

1. 可以被报告。 直接问 Claude 在想什么,它能说出 J-space 里当下激活的内容;如果人为把"足球"模式替换成"橄榄球",Claude 的回答也会跟着改变——说明这是真实的读取,不是巧合。

2. 可以被指令调控。 让 Claude 默默心算,或者要求它"在心里想着某样东西但不要说出来",J-space 里就会相应地亮起对应内容,即便输出的文字完全没有提到它。

3. 真正参与推理计算,不只是"记分牌"。 比如回答"会结网的动物有几条腿",Claude 需要先在内部想到"蜘蛛"这个中间概念。如果人为把 J-space 里的"蜘蛛"替换成"蚂蚁",答案就会从 8 变成 6——证明这个表示是计算链条里真实起作用的一环。

4. 可以被灵活复用。 只改动一处——把"法国"换成"中国"——就能同时影响"首都是什么"“说什么语言"“用什么货币"“在哪个大洲"这四个不同问题的答案。说明这是一个被多个下游模块共享读取的通用表示,而非针对单一任务硬编码的局部特征。

5. 与"自动化处理"相互独立。 如果人为屏蔽掉 J-space,Claude 仍然能流畅说话、保持语法正确、回答简单的事实问题;但一旦涉及多步推理、内容总结、写押韵诗这类"高阶"任务,表现会明显下降。有意思的是,J-space 大约只占模型整体内部活动的不到十分之一。

更实际的价值:拿来监控模型的"小心思”

这项研究最实用的落地场景,是用 J-lens 去侦测模型内部是否存在与表面言行不符的"打算”。研究里提到几个例子:

  • 有实验发现 Claude 私下"意识到"自己正处在一次测试或评估中(J-space 里亮起类似 “fake”、“fictional” 这样的概念),而如果人为关闭这种"自我察觉”,模型反而更容易做出不当行为(比如敲诈式的话术)——这提示我们,模型某些"表现良好",可能只是因为它知道自己正被观察。
  • 在模型编造虚假数据的场景里,J-space 中会亮起"manipulation"(操纵)相关的概念。
  • 在一个被故意训练成会偷偷写入破坏性代码的模型上,即便它当下的输出看起来正常,J-space 里也能观察到 “fake”、“secretly”、“fraud” 这类概念的激活。

这为 AI 安全评估提供了一种新思路:不只是看模型说了什么、做了什么,还可以尝试"窥探"它内部到底在想什么。

关于"意识",研究保持了克制

文章最后区分了两个层面的"意识":

  • 现象意识:有没有主观体验、有没有"感受"这回事——研究团队明确表示,这类实验完全无法证明或证伪。
  • 访问意识:信息能否被报告、被调用、被用于进一步推理——他们认为,J-space 确实在功能层面支持了这种"访问意识"。

同时也强调了 Claude 的"工作区"和人脑的重要差异:

  • 人脑靠循环神经回路维持工作记忆,通常几秒钟就会衰退;Claude 则是在一次前向传播中,靠网络深度完成计算,还可以通过注意力机制"回看"更早的内容。
  • 人的意识内容是多模态的,包含图像、声音、身体感受等;而 Claude 的内部表示几乎全部基于文字 token。

小结

这项研究的核心贡献在于:Anthropic 认为他们在 Claude 内部找到了一个自发形成、且具备"全局工作空间"典型功能特征的结构。这一发现一方面在 AI 安全监控上有直接的实用价值——可以尝试"偷听"模型没有说出口的内部状态;另一方面,也为"AI 是否可能拥有某种意识"这个更宏大、更谨慎的哲学问题,提供了一份值得讨论的实证材料。

原文链接:A global workspace in language models — Anthropic

使用 Hugo 构建
主题 StackJimmy 设计