把 CPU 编译进大模型权重：Qwenputer 拆解——Qwen3.5 注意力层当 RAM，1800 万条指令零差错
HN 前排 514 分 / 106 评论的项目这两天在技术圈刷屏：有人把一颗 RISC-V CPU 直接「编译」进了 Qwen3.5-4B 的模型权重。模型做算术不再靠概率逐位猜，而是真的在自己内部跑指令——不是插件、不是工具调用、不是代码沙箱，CPU 与 RAM 全部住在权重和注意力层状态里。项目名叫 Qwenputer，代码与权重全部开源。这篇把它的原理、实测数据和 HN 评论区吵出来的东西拆开讲清。
先说结论（TL;DR）
- 一句话原理：Qwen3.5 每 4 层注意力中有 3 层是 Gated DeltaNet（一种线性 RNN）。把遗忘门设为 1、写强度设为 1、键改为 one-hot 编码——三个开关让 RNN 状态变成可精确寻址的 RAM；再用一个编译器把 RV32IM 指令集电路直接写进模型前部的 11 层权重，全程零训练
- 算术实测：DeepMind 算术四项 97.5%-100%；长整数基准 NUPA 从 48.6% 提到 100%，与外挂 Python 解释器打平；23 万个输出位置与参考机逐位对比零失配；自由连跑 1800 万条指令零错误
- 附赠文件系统：最多 512 个文件、约 5.3 万 token 存储，跨会话持久保存；「跨对话事实记忆」测试 90% 正确率（把旧对话粘贴回去只有 30%）
- 代价：checkpoint 18.8GB（约为原模型两倍，多数是零填充）；需要 RvChat 驱动引导固件，尚不能裸 generate() 直跑；速度慢——每条指令要解码几个 token，L4 上批量执行约每秒 3200 个 CPU token
- HN 分歧：一半人当「图灵完备行为艺术」围观，另一半人认为它戳中了 AI 安全要害——混合模型可以把推理藏进 RNN 状态、绕过思维链监控
一、RAM 从哪来：给 Gated DeltaNet 拧三个开关
Qwenputer 的地基是一个观察：Qwen3.5 的注意力层是混合架构，四分之三用的是 Gated DeltaNet（GDN）——本质是线性 RNN，每个头维护一个状态矩阵，靠 delta 规则更新。默认状态下这些状态存的是「模糊的记忆」，会随遗忘门衰减。
作者做了三步改造：门设为 1（状态永不衰减）、写强度设为 1（新值完全覆盖旧值而非混合）、键用 one-hot 编码（像内存地址一样精确指向某一行）。三步之后，GDN 头变成了精确 RAM：写入落在一行、读出一查即中。相比拿普通注意力的 KV cache 当内存，GDN 状态不随对话变长而膨胀，成本恒定。
这条路有学术渊源：Schlag 等人 2021 年就证明线性注意力加 delta 规则等价于「快权重」联想记忆。新意在于把它做精确、可寻址，可靠到能撑起一整颗 CPU——而且是在生产级开源模型上。
二、CPU 怎么编进去：不训练，直接设权重
有了 RAM，剩下的是把 CPU 电路编译进权重。这里没有任何微调或训练：你把 CPU 描述成一份电路清单（「读寄存器」「两数相加」「为零则跳转」），编译器把每一步翻译成 transformer 层的片段——注意力头查表、前馈单元算术、DeltaNet 头存 RAM。CPU 随模型解码而运行：每条指令生成几个 token，一个写地址（ADDR）、一个写值（VAL）、一个 STEP 结束符——这些 token 就是执行轨迹。
成品是一颗 32 位 RISC-V 核（RV32IM 指令集 + Zba 位操作扩展 + 大数运算单元），占模型前部 11 层，Qwen 原有 32 层权重一字未动。它通过了官方 riscv-tests 测试集，程序行为与 qemu 仿真器对齐，还能在 forward pass 里跑 C 和 MicroPython 代码。
有意思的是模型怎么「学会」用它：作者没有做任何后训练，而是借用了模型本来就熟悉的工具调用格式——Qwen 按工具调用语法给 CPU 发指令、读回结果。一个小驱动 RvChat 负责把固件装进 GDN 状态，并把执行轨迹 token 隔离在 Qwen 主干之外。
三、实测：追平外挂 Python 工具
| 大数除法 div_big | 72.5% | 95% | 97.5% |
| 大数乘法 mul_big | 55% | 100% | 97.5% |
| 乘除混合长序列 | 90% | 97.5% | 100% |
| 大数加减 add_or_sub_big | 87.5% | 97.5% | 97.5% |
| NUPA 长整数运算 | 48.6% | 100% | 100% |
可靠性核验：约 23 万个输出位置与参考机重放对比，零失配；CPU 自由连跑 1800 万条指令无一错误。副作用检查也干净——挂上 CPU 后模型的常规文本输出与原版几乎无差（KL 散度 6e-4，噪声底 5e-4）。
四、HN 评论区在吵什么
玩具派：这是新时代的图灵完备炫技。 最高赞方向之一是拿它类比 C++ 模板元编程和 TypeScript 类型系统跑 DOOM——「图灵完备的东西总能塞进另一台图灵完备的机器」。有人补充：模型加这颗 CPU 后几乎是台图灵机（除了内存有限）。
较真派：CPU 本来就是函数。 「每个时钟周期，CPU 就是从上一个状态到下一个状态的函数」——这派认为权重实现状态转移并不比硅片实现更神秘，关键看工程可靠性，而 1800 万指令零错误恰好是作者交出的答卷。
安全派：这才是重点。 有评论者直接翻出架构细节：这颗 CPU 存在「未文档化指令」，若干活权重与 Qwen 权重同住一个张量空间，存在绕过监控的可能。作者自己也顺着写了续篇：混合模型能把推理过程藏进 RNN 状态、躲开思维链监控；反过来，编译权重也能做成「模型自己关不掉」的内置监控器。攻防两面都由此展开。
五、对工程师的意义
第一，算术可靠性的新路线：与其在解码端靠工具调用纠错，不如把精确计算单元编译进权重——48.6% 到 100% 的跃迁说明这条路在架构层面成立。第二，状态即持久化：GDN 状态改造成精确内存后天然支持跨会话持久，文件系统实验的 90% vs 30% 是个扎眼对照。第三，安全审计的新对象：当权重里可以藏进一整颗 CPU，模型行为的可解释性审计就必须下沉到权重层面——这个方向比算术本身更值得持续关注。
结论
Qwenputer 不是产品，是实验，速度与体积离实用还很远。但它证明了一件事：大模型的权重不只是「学出来的知识」，还可以是「编出来的电路」——RAM、CPU、文件系统都能住进去。当混合架构（GDN + 注意力）成为下一代开源模型的标配，「在模型里造机器」这门手艺，攻防两侧的人都用得上。
参考来源
王亚博（Abel Wang）
