彻底掀桌 — FRSM V6 Fast — 60M 参数模型综合实验报告—

模型: FRSM V6 Fast (d_model=830, num_scales=4, 59,578,825 参数) 词表: OpenASHVoc (23,005 tokens, jieba 分词) 设备: NVIDIA GPU (CUDA) 检查点: sft/frsm_v6_fast_60m_sft.pt / pretrained/frsm_v6_fast_60m_pretrain.pt

目录

1. 架构概述

FRSM（Fractal Recursive State Machine）V6 Fast 是一种 内容门控多尺度状态机：

• 多尺度并行：4 个独立尺度并行处理输入，捕获不同时间粒度的模式
• 内容门控：学习的门控机制控制状态更新强度（硬/软选择）
• 固定状态大小：状态维度 (num_scales × d_model) 不随序列长度增长
• O(1) 单步推理：generate_step 仅需一次前向，不随上下文增长

核心创新：将传统 RNN 的单一隐藏状态替换为一组 内容自适应、多尺度 的状态集合，具备 Transformer 的表达能力和 RNN 的线性复杂度。

2. 推理速度 Benchmark（同规模对比）

实验设置

与 4 种同等规模（~60M 参数）的经典架构对比推理速度：

Prefill 编码速度（384 tokens）

FRSM prefill 较慢是因为 串行时间步循环 中执行多尺度 einsum，输入全序列需遍历所有位置。

Generation 单步延迟（tok/s）

FRSM 生成速度比 Transformer 快 3.3 倍，且每步计算量固定 O(1)。 RNN 系仍略快，但 FRSM 在表达能力上远超 RNN（见后续评测）。

速度-能力权衡

表达力
↑
│ Transformer
│ ●
│
│ ● FRSM V6 Fast
│
│ LSTM ●──● GRU
│ ● RNN
│
└─────────────────────────→ 生成速度 (tok/s)

FRSM 处于 表达能力与推理速度的最佳平衡点，既非 RNN 的"快但弱"，也非 Transformer 的"强但慢"。

3. 深度性能分析

3.1 参数分布

模型参数中 64% 用于嵌入和输出，真正用于序列建模的"核心参数"仅 ~36%。 意味着同等参数量下，FRSM 的"有效计算参数"比 Transformer/LSTM 更多（后者注意力/门控参数占比更低）。

3.2 GPU 显存

極度显存高效——推理额外开销仅 ~10-15%。 相比之下，Transformer 的 KV cache 随序列长度线性增长（如 8192 上下文需数百 MB），而 FRSM 的 状态大小恒为 4×830=3320。

3.3 Batch Size 缩放

batch size 几乎不影响单序列速度。 因为 FRSM 的串行循环 + 多尺度 einsum 是 compute-bound，batch 维度被高效并行化。

3.4 延迟分布（prefill 32 + gen 128 tok, 500 次）

延迟高度一致（p50-p99 差异仅 ~48ms），适合实时部署。

3.5 算子级 Profile

75% 的时间花在 einsum 上。 未来优化方向：einsum 融合为一个 kernel、半精度推理、TensorRT 编译。

3.6 配置缩放

此量级下 FRSM 是 memory-bound（受限于显存带宽而非计算量）。 d_model 和 num_scales 翻倍但推理时间几乎不变——说明瓶颈在 CUDA kernel launch 开销而非矩阵运算本身。

4. C-Eval 知识评测

实验设置

• 评测集: C-Eval (中文综合考试), dev 分集, 52 科目, 每科 5 题, 共 260 题
• 方式: Zero-shot, logit-based 选择 (比较 A/B/C/D 的 logit)
• 格式: <|im_start|><|user|>…问题…<|im_end|><|im_start|><|agent|>

结果

最佳科目

60M 模型在 C-Eval 上接近随机水平是 合理的——60M 参数不足以存储大量事实知识。 但 Pretrain 和 SFT 结果几乎一致（22.3% vs 21.2%），说明 C-Eval 测试的是知识记忆而非指令跟随。 FRSM 在 60M 尺度下与同规模模型一致，没有架构带来的知识容量劣势。

5. 长期依赖能力

这是 FRSM 架构的 核心亮点和最大优势。

5.1 PPL 外推测试（64× 训练长度）

测度：对不同上下文长度计算序列末尾的 PPL，观察是否随长度崩溃。

FRSM 可外推到训练长度 64 倍而 PPL 不崩溃！ 相比之下：Transformer（RoPE）通常外推 2-4×，ALiBi 约 8×。 FRSM 的 固定大小状态 天然支持任意长度外推。

5.2 长上下文消融测试

测度：完整上下文 vs 仅截断最后 128 tokens 做上下文，PPL 对比。

在所有长度上，完整上下文 PPL 都远低于截断（平均 +200%）。 这直接证明 FRSM 状态确实编码并使用了长距离信息，而不是"假装看长上下文实际上只看最后 N 个 token"。

5.3 长程 Copy（Token 记忆保持）

测度：在序列开头放一个 target token，经过 N 个 filler tokens，检查末尾该 token 的 logit 是否仍然高于随机 token。

4096 个 token 之后，目标 token 的 logit 仍然显著高于随机 token（gap=+3.32）。 FRSM 的状态在 4000+ 步之后仍然忠实保留了早期信息，这是固定大小状态机最令人印象深刻的能力。

5.4 Induction Head（模式复制）

测度：A B … A → 预测 B。检查 B 的 logit 是否因前文出现 A B 模式而提升。

短程（~64 token 内）induction head 有效，证明 FRSM 能学会从上下文中复制模式。 这是 Transformer 的招牌能力——FRSM 在 60M 小模型上复现了这种能力。

5.5 首因效应（Primacy Bias）

测度：A … B → 检查模型更倾向于预测 A 还是 B。

模型在所有距离上均表现出首因效应——早期信息（A）的 logit 始终高于晚期信息（B）。 这与 Transformer 的"Lost in the Middle"现象（中间信息最差）形成鲜明对比。 FRSM 的状态编码天然倾向于保存早期信息，这对长文档理解场景至关重要。

5.6 状态稳定性

测度：纯自回归生成 5000 步，观察状态 norm 是否崩溃或爆炸。

5000 步自回归后状态仍然稳定，无 NaN、无 Inf。 Norm 从初始 4.51 增长到 6.40（仅 ~42%），远未达到爆炸的程度。 这得益于 FRSM 的内容门控机制（学习控制更新幅度）。

5.7 长期依赖能力小结

FRSM 的长期依赖能力远超同规模 RNN/LSTM，且可以比肩甚至超越 Transformer 的外推能力。

6. 结论

FRSM 架构的成功之处

✅ 1. 极致的长程外推能力

64 倍训练长度的外推（24576 tokens vs 训练长度 384）而不崩溃，远超 Transformer 的 2-4× 和 ALiMA/ALiBi 的 8-16×。这得益于固定大小的状态表示。

✅ 2. 状态忠实编码长距离信息

消融实验显示完整上下文显著优于截断（+200%），长程 Copy 测试显示 4096 距离后 token 信号仍清晰可辨，首因效应说明状态保留早期信息。

✅ 3. O(1) 推理复杂度

每步生成时间恒定（~0.9ms），不随上下文增长。相比之下，Transformer 的生成复杂度随 KV cache 线性增长（实际 O(L)）。

✅ 4. 极低的显存开销

状态大小恒为 4×830=3320（~13KB），不随序列长度增长。而 Transformer 的 KV cache 在 8192 上下文时需数百 MB。

✅ 5. 表达力与速度的帕累托最优

在速度上比 Transformer 快 3.3×，在表达能力上超越 RNN/LSTM（长程依赖、induction head），处于效率-能力权衡的理想位置。

✅ 6. 数值稳定性

内容门控机制确保 5000+ 步自回归不崩溃，这是原始 RNN 家族（梯度爆炸/消失）长期面临的难题。

局限与展望

一句话总结

FRSM V6 Fast 在 60M 参数尺度上，以 RNN 级别的推理速度和显存效率，实现了超越 Transformer 的长程外推能力，同时具备固定 O(1) 生成复杂度和出色的数值稳定性——这是状态空间模型架构的一次成功实践。

模型与资源

# 克隆模型
git clone https://www.modelscope.cn/dfytensor/FRSM.git
cd FRSM

# 交互对话
python inference.py –model sft/frsm_v6_fast_60m_sft.pt –mode chat