SFA(Signal Field Attention) 是单点突破的实验,Dalin Soma 是完整的 AI 基础设施。从注意力机制替代,到推理加速、参数微调、全新架构、蒸馏训练——五岳并立,零 Transformer 依赖。
开源地址:github.com/CN-QN1-dalin/dalin-soma-
一、一句话:我们做了什么
Transformer 统治 AI 领域已经 7 年了。但从 2017 年诞生起,它的核心组件——自注意力机制——就带着两个原生缺陷:
- 计算复杂度 O(n²):序列长度翻倍,计算量翻四倍
- 内存复杂度 O(n):64K 序列的 KV Cache 可达数百 MB
我们做的是:从零开始,用「信号场」替代 Transformer 的全部核心组件,构建一套完整的 AI 基础设施。
这套基础设施叫 Dalin Soma(太初五岳),灵感来自中国传统的五岳概念——五座山峰,五层能力,互为补充。
二、SFA 是什么:单点突破
Signal Field Attention(信号场注意力,SFA) 是整个项目的起点,也是「东岳」Soma Engine 的核心技术。
2.1 传统 Attention 的问题
标准的 Transformer 注意力计算:
code复制
A[i,j] = exp(q_i · k_j / √d) / Σ_l exp(q_i · k_l / √d)
所有 token 之间两两计算注意力,这意味着:
- 序列长度为 n 时,计算量是 n²
- KV Cache 随序列长度线性增长
2.2 SFA 的方案:双通道注意力
SFA 的核心思路很简单但有效:把注意力拆成两个通道。
| 近场 | Ring KV Buffer(最近 k 个 token) | 精确计算最新 token 的注意力 | O(k) |
| 远场 | 信号场状态向量 S | 全局压缩的历史信息 | O(1) |
code复制
Attention = Attention_near(k=16) + α · Attention_far(S)
- 近场用固定容量的环形缓冲区存储最近 k=16 个 token 的精确 KV
- 远场用信号场状态向量 S 提供全局压缩信息,仅 8.1KB 参数
关键结果:
