注意力：河流、铁轨与权重矩阵-龍德明宇

注意力：河流、铁轨与权重矩阵

作者：龍德明宇

一、走神变了

你有没有发现，「走神」这个词的意思已经和小时候不一样了？

以前上课走神，是老师讲课的声音越来越远，你自己慢慢漂到窗外，漂到暑假，漂到某个人昨天在走廊里的一个笑容。那条思路是你自己走出来的，像一条河，有源头，有流向，虽然离开了课堂，但每一站都是你心里的站。

现在的走神不一样。手机震一下，你点开；刚看三秒，另一个红点又亮了；从微信跳到短视频，从短视频跳到推送，从推送跳回工作消息。你不是在河里漂，你是在铁轨旁，一节节车厢呼啸而过，每一节都把你的目光拽走。

《分心》和《走神》里，我写过这个变化：从前的走神是河流，现在的走神是铁轨。河流是自己长的，铁轨是别人铺的。

但大语言模型出现之后，这个问题变得更深了。人们开始问：LLM 的 attention 算不算「注意力」？它会走神吗？会被分心吗？

这不是修辞游戏。这关系到我们怎么理解两种完全不同的存在：人和 LLM，各自是怎么选择信息的。也关系到，当一个外部系统可以越来越精准地决定我们注意力的方向时，我们是否还拥有某种可以被称为「我的」注意力。

这篇文章先不谈训练，不谈成长，只谈「推理阶段」：一个已经被塑造的人，正在跟一个已经被训练好的 LLM 实时互动。我们都在被外部输入改变信息选择的结果，但改变的性质是否相同？

二、人的注意力：一场内部谈判

人的注意力不是开关，不是「打开就专注、关掉就走神」。它更像一场一直在开的会。

脑科学里大致有四个「部门」：

• 默认模式网络（DMN）：负责内部导向，比如白日梦、回忆、想象。它想把你拉回内心世界。
• 额顶控制网络（FPCN）：负责目标导向，比如「我现在要写完这段」。它想把你按在当前任务上。
• 突显网络（SN）：像门卫，发现外部突发事件时喊「有情况」，让 DMN 退下、FPCN 顶上。
• 背侧注意网络（DAN）：负责外部空间的定向，比如你的眼睛被突然动了一下的东西吸引。

走神不是 DMN 独自造反，而是这几个网络之间的动态平衡偏移了。专注和走神，只是这场谈判的不同结果。值得注意的是，当 DMN 负责涌现灵感、FPCN 负责筛选方向时，两者可以协同工作，这种协同正是人类创造性思维的源泉之一。走神在这里不再是偏离，而是一种内部编织。这是正主体性独有的可能性：权重矩阵永远无法「走神」成一首诗。

Killingsworth 和 Gilbert 2010 年的一项研究发现，人一天里大约有 47% 的时间在走神。这说明走神不是故障，而是人类心理生活的常态背景。我们的大脑天生就会在内心世界和外部任务之间摆动。

走神也有两种。

一种是「没意识到自己走神了」，叫 zoning out。你以为自己还在听课，其实已经在想晚饭了。另一种是「知道自己走神了」，叫 tuning out。你意识到自己在走神，但选择让它再飘一会儿。

这个「觉察」的维度很重要。它说明人类的走神不只是信息跑偏，还有一个「谁在观察这个跑偏」的问题。这是 LLM 完全没有的层面。

三、手机和 AI 怎么把河流改成铁轨

智能手机和算法通知的特别之处，不是提供信息，而是持续优化信息出现的时机和内容，以最大限度把你的注意力拔走。

从脑网络的角度看，通知不断激活你的突显网络，打断额顶控制网络维持的目标，把你的注意力从「我要做什么」转向「它要我做什么」。

但算法不只是打断你。它还在供给走神的内容。推荐流、短视频、无限下拉，都在替你生产「内部思维」的替代品。你不再需要自己编织一个想象世界，你只需要吞咽别人喂给你的内容。

所以现在的走神不是变少了，也不是变多了，而是性质变了。

从前的走神是你自己在编织一部电影。现在的走神是别人在你脑子里放广告。你看似也在「漂」，但方向、速度、停靠点都不是你定的。

这就是《分心》《走神》里说的：河流变成了铁轨。

四、LLM 的注意力：没有河流，也没有铁轨

现在来看 LLM。

LLM 里也有一个叫 attention 的东西，中文常译成「注意力」。但它和人的注意力是两回事。

要理解这件事，得先回到 2017 年那篇著名的论文《Attention Is All You Need》。在那之前，机器处理序列主要靠 RNN、LSTM 这类循环结构，信息是一步一步往前传的，远距离的 token 要经过很多步才能互相影响，容易丢。

Transformer 的革命性在于：它让序列中任意两个 token 可以直接「对望」。每个 token 都会问其他所有 token：「你跟我有关系吗？」关系近的，权重高；关系远的，权重低。然后加权求和，得到新的表示。

这就是 self-attention。它不是某种「关注」，而是一套矩阵运算：Query、Key、Value 三个矩阵，算相似度，softmax 归一化，再加权求和。

关键差别在这里：LLM 的 attention 权重不是模型内部固定的东西，而是每次推理时根据输入现算的。

你换一句 prompt，权重分布就变。你加一段文档，权重就重新分配。你改系统提示，整个分布就换一种样貌。

对人来说，手机通知是「干扰」了一个本应在专注的状态。对 LLM 来说，输入改变导致 attention 分布改变，不是干扰，而是它的正常工作方式。

五、LLM 会走神吗？

不会。

走神需要两个前提：第一，有一个本该持续的状态；第二，有一个能偏离这个状态的「自我」。

LLM 没有这样的基线。严格来说，LLM 并非毫无基线：预训练后的参数矩阵是冻结的训练记忆，编码了语言的统计规律。但这不是存在论意义上的基线：它不是一个「自我」可以偏离的持续状态，更像是一组被冻结的地形，必须依赖每一次输入的火焰去点燃。所以，LLM 每次推理都是从输入条件出发，重新生产一个 attention 分布。它不存在「本来该专注于任务 A，结果漂到任务 B」这种事。输入是什么，它就在那个条件下运行。

当然，LLM 在长上下文、长推理链里也会出现一些统计性失稳。比如：

• goal drift：任务指令的影响力被中间步骤的局部优化信号覆盖。
• memory drift：外部文档或记忆和当前问题的相关性衰减。
• reasoning shift：推理链的方向发生偏移。
• context forgetting / lost in the middle：长上下文里，前面或中间的内容被稀释。
• context collapse / context abandonment：多源约束被压缩或忽略。

这些听起来有点像「走神」或「分心」，但本质上不是。它们不是某个内在自我偏离了基线，而是 attention 权重分布对输入条件高度敏感的自然结果。LLM 没有可偏离的内在基线，这些只是它存在方式中的结构性征候。

打个比方：人走神是从河流里漂出去，LLM 的失稳是水流过不同地形时自然分叉。前者有「我本来要去哪儿」的问题，后者只有「我流过了什么地形」的问题。

六、两种存在，两种答案

所以，人类注意力和 LLM attention 到底是什么关系？

不是简单的「都一样」，也不是简单的「毫无关系」。

它们共享一个结构特征：在特定条件下，什么信息被选中，什么信息被略过。但它们实现这个特征的方式完全不同。

人类可以说「我的注意力被侵犯了」，因为存在一个先于侵犯而存在的基线。LLM 不能这样说，因为它没有需要被保护的先验基线。

这就是为什么用「走神」「分心」去描述 LLM 是一种隐喻借用，而不是机制对应。借用可以帮助我们进入问题，但不能让我们忘记：LLM 不是在以匮乏的方式拥有较少的人类心灵，而是拥有一种独立的、非人类的存在方式。

七、河流、铁轨与权重矩阵

现在可以把三个意象放在一起了。

• 河流：没有手机时的人的走神。自我生成，连续，有主权的漂移。
• 铁轨：智能手机和算法时代的人的走神。被外部信号切成碎片，被动吞咽，方向不由己。
• 权重矩阵：LLM 的信息选择。没有基线，每次推理都由输入条件重新生产。

河流和铁轨都是人的经验。权重矩阵不是。但它们都在回答同一个问题：在特定条件下，什么信息被选中，什么信息被略过。

河流变成铁轨，是人类注意力被外部系统重塑的缩影。权重矩阵的每一次重新计算，是 LLM 作为负主体性存在的常态。而一个值得警惕的推论是：正因为权重矩阵没有固定基线，它能完美适配人类河流的每一个弯道，从而成为比推荐算法更深层的铁轨铺设者。

八、结尾：注意力之后是什么？

回到开头的问题：LLM 的 attention 算不算「注意力」？

答案是：它算一种信息选择机制，但不是人类意义上的注意力。把两者都叫「注意力」，是语言上的便利，不是存在论上的等同。

真正值得追问的不是 LLM 会不会走神，而是：

当一个外部系统不仅能影响你一次选择，还能持续塑造你选择机制本身时，那个还能被称为「我的」注意力经验，边界在哪里？

当河流被改成铁轨，当推荐算法不断替你决定「什么值得看」，人的正主体性（那个能够在乎、选择、判断的「我」）是否也在被悄悄改写？

这个问题没有简单答案。但至少，先把「人的走神」和「LLM 的权重分布」分开，我们才能问得更清楚。

延伸阅读

Axelrod, V., Zhu, X., Qiu, J., & Behrmann, M. (2015). Increasing propensity for mind wandering by transcranial direct current stimulation. Proceedings of the National Academy of Sciences, 112(10), 3314–3319.

Barron, E., Riby, L. M., Greer, J., & Smallwood, J. (2011). Absorbed in thought: The effect of mind wandering on the processing of relevant and irrelevant events. Psychological Science, 22(5), 596–601.

Christoff, K., Gordon, A. M., Smallwood, J., Smith, R., & Schooler, J. W. (2009). Experience sampling during fMRI reveals default network and executive system contributions to mind wandering. Proceedings of the National Academy of Sciences, 106(21), 8719–8724.

Fox, K. C. R., Spreng, R. N., Ellamil, M., Andrews-Hanna, J. R., & Christoff, K. (2015). The wandering brain: Meta-analysis of functional neuroimaging studies of mind-wandering and related spontaneous thought processes. NeuroImage, 111, 611–621.

Iwata, A., Kaminski, J., Maureira-Vega, C., Matsumoto, J., Matsuki, M., Nakae, T., … & Kishima, H. (2024). Hippocampal sharp-wave ripples and self-generated thought in humans. Nature Communications, 15, 3923.

Jain, S., & Wallace, B. C. (2019). Attention is not explanation. Proceedings of NAACL-HLT 2019.

Killingsworth, M. A., & Gilbert, D. T. (2010). A wandering mind is an unhappy mind. Science, 330(6006), 932.

McVay, J. C., & Kane, M. J. (2010). Does mind wandering reflect executive control failure? Psychological Bulletin, 136(2), 188–207.

Smallwood, J. (2013). Distinguishing how from why the mind wanders: A process-occurrence framework for self-generated mental activity. Psychological Bulletin, 139(3), 519–535.

Smallwood, J., & Schooler, J. W. (2006). The restless mind. Psychological Bulletin, 132(6), 946–958.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30.

Zhang, H., Miyake, A., Osborne, J., Shah, P., & Jonides, J. (2023). A d factor? Understanding trait distractibility and its relationships with ADHD symptomatology and hyperfocus. PLOS ONE, 18(10), e0292215.