欢迎光临
我们一直在努力

从「一次就翻车」到「收敛的共识」——多智能体降错的三层模型

术语纪律(先说清,免得滑回直觉词泥潭):本书把「幻觉」(事实误差/错误)和「注意力」都加上引号。「幻觉」是借来未厘清的工作术语,指模型产出的不正确、无依据内容;「注意力」在本书里只作比喻,真实机制是 softmax 的概率权重归一化(Σ=1)。下文沿用这一纪律——凡比喻处必加引号。

一、一个反直觉的现象

你大概都有过这种体验:让一个单体大模型写一份长报告,开头还像样,越往后越「飘」——日期错了、文献编造了、前后自相矛盾了,直到通篇「越写越离谱」。可如果把这份草稿交给一组角色化的子模型(一个物理专家、一个财务专家、一个事实核查员……)分别审一遍,再合回来,错误的观感确实显著下降。

但奇怪的是:无论审多少轮,似乎永远消不掉所有错。多问几遍同一个模型,有时也能自己改对一处;上外部检索工具,又能再掐掉一批。

这背后不是玄学,而是一套可以拆解的降错机制。本书把它并成一条干净主轴——三层降错模型。本文就顺着这条主轴,把「为什么单体容易翻车、多角色能收敛、但共识不等于没有错」一次讲透。
在这里插入图片描述

二、单体为什么会「雪崩」:错误的独特形态

人也会记错一个名字——那是单点事实误差,有界、静态,错就错在那一点。大模型区别于人的,不是「会错」,而是错会累积放大。本书称其为「幻觉」(事实误差/错误)的累积放大,根源是三层根因叠加(§3.1.5b):

  • 根因 A(无弃权桶):输出层 Softmax 必须 Σ=1,概率质量被迫压在某个 token 上,架构级没有「我不知道 / 先去核验」的原生槽位。哪怕它吐出「我不知道」四字,那也只是分布里某个被选中的 token,而非能中断生成去核验的机制。
  • 根因 B(自回归强制吐字):协议强制每步必吐一个 token,且一旦提交便永久成为后续上下文、无法回改。首个错 token 被永久提交、沿链放大——这就是「雪崩」的通道。
  • 根因 C(MLE 无真值,最深层):最大似然目标只奖励「统计上最可能的下一个 token」,损失函数里根本没有「事实准确性」这一项。流畅的假话与流畅的真话被等同对待。Kalai 等(arXiv:2509.04664)据此给出生成错误率的非零下界——即便语料零污染、注意力语义完美,幻觉率仍被封住、不会归零。

三件事叠在一起:当某一步相关度已经塌缩、模型其实「该停」时,它仍被迫从分布里选一个最高概率的 token;这个低相关 token 进入上下文,又抬高下一步更多低相关 token 的概率,沿自回归链滚成雪崩。这正是大模型特有的失败模式,也是本书全书要治的那根链。

三、「注意力」稀释:为什么一个什么都会的模型反而看不深

(此处「注意力」是比喻,指概率权重。)

本书用「黑屋找钥匙」比喻 Σ=1:你手里的电量(权重总和)始终是固定的一份。屋子越大,照到的角落比例越小、每个角落分到的光越薄。真正决定找不找得到钥匙的,不是屋子多大,而是那点有限的光有没有打在放钥匙的角落上(§3.1.4)。

这就引出一个常被忽视的结构性问题——注意力稀释:单体全局视角把固定一份 Σ=1 摊到所有域,每个域分到的权重都薄,深层错看不见。一个「什么都懂点」的审核者,宽度够、但深度有限,会漏。

反过来,角色化相当于给每个角色各发一份完整的 Σ=1:物理专家只看物理、化学只看化学,每支手电都满电、分区域照,于是「看的深」;专家无交叉则合起来覆盖广、漏的少(§5.4.2)。这里有个关键结论,常被误解:prompt 本身就是把概率权重聚焦到特定区域的关键——一份报告加一句「从物理方面解读」,生成就会被显著锚定在物理通路上,从而降稀释、给深度,且无需独立基座。角色化不是「换马甲」,它是真实生效的「注意力」聚焦机制(比喻)。

四、三层降错模型:各降各的

把全书散落的降错机理并成一条主轴(§3.1.5c 边栏),三层的活各降各的:

  • L0 架构层:结束符(EOS)封顶单条生成轨迹内的放大链。雪崩机制绑定在单条自回归轨迹内,EOS 一停、下一条轨迹重新 Σ=1,放大链断开。所以「雪崩只发生在一轮回复中」,架构天然有界,不会无限滚。
  • L1a mono 重采样 + 自审:同一模型多轮重复提问 / 自审,本质是概率重采样,能消解抽样型错(某次不幸抽到低概率错 token)。「重复问一遍就可能消除一个错」说的就是它——单模型也有正收益,并非零。
  • L1b 角色化(prompt 聚焦概率权重):消解注意力稀释错。分角色后每角色满「注意力」(比喻)、看的深,分工合理则覆盖广、漏的少。
  • L2 外部锚(维度二·外部客观锚):把 L1b 仍够不着的共享先验种子错从未知层拽出、降残余未知。这是闭包外现实才办得到的活——无论是 certutil/SHA256 这类形式锚,还是知识图谱 / 可验证外部源这类语义锚,都提供循环外的 YES/NO 测试,在错误尚未累积前把它钉住(§3.1.4)。

关键区分:抽样型错 vs 先验种子错都是内部(发生在模型概率过程里);只有外部杠杆——结构 = 角色化(治稀释 / 广度)、真值 = 锚(治认证 / 种子错)——才破得了内部天花板。两层次都 essential,但干的活不同轴:结构解决「看得深不深、漏不漏」,真值解决「看到的对不对、种子错认不认得出」。

五、最重要的结论:共识 ≠ 没有错误

这一条值得焊死在正文的命题位置:协作的目标是收敛到更低错的共识,不是杜绝问题;共识 ≠ 没有错误,共识错误率的地板由先验种子决定。

原因在前文已经埋好:抽样型错能被重采样和角色化消解,但先验种子错长在模型共享先验里,跨样本复现——无论你怎样换角色、怎样多轮自审,只要没引入闭包外的真实接地(真值锚 / 外部记忆 / 可验证源),残余缺陷率就仍 Open。角色化收敛到的只是主体间一致(inter-subjective agreement),不是真理。

这正面封死了一个常见神话:「上多智能体就能消灭幻觉」。错。多智能体能显著降错、能把雪崩改造成收敛,但它不承诺零缺陷。它也反过来提醒工程实践:

  • 别神话多 Agent:角色化降低的是观测到的错率,压不住先验种子错的地板。
  • 真要降残余错,得上外部接地:形式锚(哈希 / 悖论)或语义锚(KG / 可验证源),否则共识只是更自信的错误。
  • prompt 聚焦是真有用的,但它是「注意力」(比喻)层面的深度工具,不是验真工具——它给深度、不给真值。要验真,还得靠维度二的锚。
  • 六、收尾:从「装修笼子」到「接一块磁铁」

    本书的元隐喻是「黑屋」与「磁铁」:单体模型是被 Σ=1 封死在封闭概率屋里的手电,越照越薄、错了还停不下来;磁铁(外部真值锚)是屋外那块能把错误吸住、在累积前钉死的现实引力。

    三层降错模型告诉我们:L0 让雪崩有界,L1 让共识更低错,L2 让残余可被照亮。三者缺一不可,且没有一个能「根治」——因为根治本身就不是目标。工程上值得追求的,从来不是零错误的乌托邦,而是一个能收敛、能问责、残余可被持续照亮的协作结构。

    本文思想均出自《你拼命消除的正是智能》卷三(§3.1.4 磁铁与锚、§3.1.5 幻觉三层根因、§5.4.2 角色化机理、§5.5.3 四维评测),以及近期落地的「三层降错模型」「锚分两个维度」「四诫 #4 纠错」等修订。

    赞(0)
    未经允许不得转载:171主机测评 » 从「一次就翻车」到「收敛的共识」——多智能体降错的三层模型
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址