【大模型技术报告】LongCat-Flash Technical Report

摘要

我们推出LongCat-Flash，这是一个拥有5600亿参数的混合专家（MoE）语言模型，专为实现计算效率与高级智能体能力而设计。出于对可扩展效率的需求，LongCat-Flash采用了两项新颖设计：（a）零计算专家机制，可实现动态计算资源分配，根据上下文需求每个token激活186亿至313亿参数（平均270亿），从而优化资源使用；（b）捷径连接的MoE结构，扩大了计算-通信重叠窗口，相比同等规模模型在推理效率和吞吐量上表现出显著提升。我们开发了一套完整的大模型扩展框架，结合超参数迁移、模型增长初始化、多维度稳定性套件及确定性计算，实现了稳定且可复现的训练。值得注意的是，通过可扩展架构设计与基础设施建设的协同效应，我们在30天内完成了超过20万亿token的训练，同时实现每秒100+ token的推理速度，每百万输出token成本仅为0.70美元。为培育LongCat-Flash的智能体能力，我们在优化混合数据集上进行了大规模预训练，随后针对推理、代码和指令进行定向中期与后期训练，并通过合成数据与工具使用任务进一步强化。综合评估表明，作为非思维型基础模型，LongCat-Flash在主流模型中展现出极具竞争力的性能，在智能体任务中表现尤为突出。LongCat-Flash的模型检查点已开源以促进社区研究。

项目

1.引言

以DeepSeek-V3 [DeepSeek-AI et al., 2025]、Qwen 3 [Yang et al., 2025]和Kimi-K2 [Team et al., 2025]等为代表的大型语言模型的快速发展，充分证明了扩大模型规模和计算资源的有效性。尽管近期的一些进展引发了人们对扩展速度可能放缓的担忧，但我们认为，算法设计、底层系统优化以及数据策略均对进一步推动可扩展智能的前沿发展起着同样关键的作用。这要求在模型架构和训练策略上进行创新，以提高扩展的成本效益，同时还需要系统性的数据策略，以增强模型解决现实世界任务的能力。

本工作中，我们推出LongCat-Flash——一种高效而强大的专家混合语言模型，旨在沿两个协同方向推进语言模型的前沿：计算效率与智能体能力。该模型在数万加速器上进行训练，通过架构创新与精密的多阶段训练方法相结合，实现了可扩展的智能建模。我们的贡献同时涵盖效率与智能体能力两大维度：

• 面向计算效率的可扩展架构设计 LongCat-Flash 的设计与优化遵循两大核心原则：高效的计算利用，以及高效的训练与推理。具体而言：（1）鉴于并非所有标记（token）均等重要，我们在 MoE 模块中引入零计算专家机制，依据标记的重要性为其动态分配计算预算，即根据上下文需求激活 180 亿至 313 亿参数（总参数量为 5600 亿）。为确保计算负载稳定，我们采用由 PID 控制器调节的专家偏置机制，使每标记平均激活参数量维持在约 270 亿。（2）随着通信开销成为 MoE 模型扩展时的瓶颈，我们采用短路连接 MoE（ScMoE）[Cai et al., 2024] 设计以扩展计算-通信重叠窗口。结合定制化的基础设施优化，该设计支持在超过数万加速器的大规模集群上进行训练，并实现高吞吐、低延迟的推理。

• 高效的模型扩展策略 如何有效且高效地扩展模型规模仍是策略设计的关键挑战。为此，我们开发了一套全面的稳定性与扩展框架，用于鲁棒地训练大规模模型：（1）我们成功将超参数迁移策略应用于此大型模型，通过理论保障下的小规模代理模型结果预测最优超参数配置。（2）基于精调优化的半规模检查点，采用模型增长机制初始化模型，相比传统初始化方法获得性能提升。（3）多维度稳定性方案包含原则性的路由器梯度平衡、抑制大幅激活的隐藏状态 z-loss 以及精细调优的优化器配置。（4）为提升大规模集群训练的可靠性，我们引入确定性计算。这确保了实验的完全可复现性，并能在训练过程中检测静默数据损坏（SDC）。这些措施保障了 LongCat-Flash 训练过程的稳定性，未出现不可恢复的损失峰值。

• 面向智能体能力的多阶段训练流程 通过精心设计的训练流程，LongCat-Flash 被赋予先进的智能体行为。初期工作聚焦于构建更适合智能体后训练的基础模型：我们设计了两阶段预训练数据融合策略，以集中推理密集型领域数据。在中期训练阶段，我们增强模型的推理与代码能力，同时将上下文长度扩展至 128K 以满足智能体后训练需求。在此强化基础模型之上，我们实施多阶段后训练。针对智能体任务中高质量、高难度训练数据稀缺的问题，我们设计了一个多智能体合成框架，从信息处理、工具集复杂度和用户交互三个维度定义任务难度——利用专用控制器生成需要迭代推理与环境交互的复杂任务。

总体而言，得益于可扩展架构设计、训练策略与基础设施建设的协同效应，LongCat-Flash在实现高训练吞吐量的同时保持了低推理延迟。值得注意的是，我们仅用30天时间完成了5600亿参数模型在20万亿词元上的预训练，并在无需人工干预进行故障处理的情况下实现了98.48%的时间可用率。在推理阶段，于H800集群上的大规模部署效率超过每秒100个输出词元（TPS），每百万输出词元的成本仅为0.7美元，与同等规模模型相比展现出卓越的性能表现。

我们在多项基准测试中评估了LongCat-Flash的基础版本和指令微调版本，其概览如图1所示。作为一种非思考模型，LongCat-Flash在参数量更少且推理速度更快的同时，取得了与包括DeepSeek-V3.1 [DeepSeek-AI et al., 2025]和Kimi-K2 [Team et al., 2025]在内的最先进非思考模型相媲美的性能。具体而言，LongCat-Flash在ArenaHard-V2上得分为86.5，在TerminalBench上得分为39.5，在τ 2-Bench上得分为67.7，展现出在通用领域、编码及智能体工具使用方面的强大能力。为减轻现有开源基准测试可能存在的污染问题并提升评估可信度，我们精心构建了两项新基准测试：Meeseeks [Wang et al., 2025a] 与 VitaBench。Meeseeks 通过迭代式反馈框架模拟真实的人机交互，以评估多轮指令遵循能力，其中 LongCat-Flash 的得分与前沿大语言模型持平。VitaBench 则依托真实商业场景，评估模型处理复杂现实任务的能力，在此项测试中 LongCat-Flash 的表现优于其他大语言模型。

图1：LongCat-Flash 的基准测试性能。

在本报告后续部分，我们将首先详述LongCat-Flash的架构与创新之处。随后阐述其预训练与后训练流程，包括训练策略、数据构建方法及评估结果。最后，我们将探讨训练LongCat-Flash过程中遇到的挑战及解决方案，并介绍如何利用其独特架构实现优化的推理与部署方法。

2.架构

LongCat-Flash采用了一种新颖的混合专家模型架构，其包含两项关键创新（图2）：（1）该MoE模块引入了零计算专家[Jin等人，2024年]，以实现动态计算，使得各令牌能够根据其上下文重要性消耗可变的计算资源。此外，通过自适应专家偏置机制对平均计算负载进行调控。（2）每一层整合了两个多头潜在注意力模块[Liu等人，2024a]以及多个异构前馈网络模块。我们采用了从首个MLA输出直连至MoE模块的捷径连接[Cai等人，2024年]。为进一步提升性能，我们通过方差对齐方法对MLA模块和细粒度FFN专家进行了优化。后续小节将详细阐述以上各个组成部分。

图2：LongCat-Flash模型采用的架构。每一层均采用带有零计算专家的快捷连接混合专家系统（ScMoE）。ScMoE显著扩展了计算-通信窗口，从而提升训练与推理效率。零计算专家能够根据上下文重要性进行动态计算，提高了计算资源的利用效率。

2.1 零计算专家

下一词元预测具有内在的计算异质性。困难词元可能需要更多资源以实现准确预测，而简单词元的计算需求可忽略不计。推测解码的实证研究也佐证了这一现象：小型草稿模型能够可靠预测大型模型对多数简单词元的输出结果 [Leviathan et al., 2023]。

受此启发，LongCat-Flash 提出了一种动态计算资源分配机制，该机制通过零计算专家激活每个令牌数量可变的 FFN 专家 [Jin et al., 2024, Zeng et al., 2024]，从而能够根据上下文重要性更合理地分配计算量。具体而言，LongCat-Flash 在 N 个标准 FFN 专家的基础上，额外增加了 Z 个零计算专家以扩展其专家池。零计算专家直接将输入

x

t

x_t

xt​作为输出返回，因此不引入额外计算成本。设

x

t

x_t

xt​为第t个token的MoE输入，LongCat-Flash中的MoE模块可表述如下：

M

o

E

(

x

t

)

=

∑

i

=

1

N

+

Z

g

i

E

i

(

x

t

)

,

\\mathrm{MoE}(x_t)=\\sum_{i=1}^{N+Z}g_iE_i(x_t),

MoE(xt​)=i=1∑N+Z​gi​Ei​(xt​),

g

i

=

{

R

(

x

t

)

i

,

i

f

R

(

x

t

)

i

∈

T

o

p

K

(

R

(

x

t

)

i

+

b

i

∣

1

≤

i

≤

N

+

Z

,

K

)

,

0

,

otherwise,

(

1

)

g_i=\\begin{cases}R(x_t)_i,&\\mathrm{if~}R(x_t)_i\\in\\mathrm{TopK}\\left(R(x_t)_i+b_i|1\\leq i\\leq N+Z,K\\right),\\\\0,&\\text{otherwise,}&\\end{cases}\\quad(1)

gi​={R(xt​)i​,0,​if R(xt​)i​∈TopK(R(xt​)i​+bi​∣1≤i≤N+Z,K),otherwise,​​(1)

E

i

(

x

t

)

=

{

F

F

N

i

(

x

t

)

,

i

f

1

≤

i

≤

N

,

x

t

,

i

f

N

<

i

≤

N

+

Z

,

E_i(x_t)=\\begin{cases}\\mathrm{FFN}_i(x_t),&\\mathrm{if}1\\leq i\\leq N,\\\\x_t,&\\mathrm{if}N<i\\leq N+Z,&\\end{cases}

Ei​(xt​)={FFNi​(xt​),xt​,​if1≤i≤N,ifN<i≤N+Z,​​

其中R表示softmax路由器，

b

i

b_i

bi​为第i个专家对应的偏置项，K表示每个令牌选用的专家数量。

路由器为每个令牌分配K个专家，其中基于上下文重要性，每个令牌激活的前馈神经网络专家数量各不相同。通过这种自适应分配机制，模型学会动态地将更多计算资源分配给具有更高上下文重要性的令牌，从而如图3a所示，在同等计算容量下实现了更优的性能。

图 3：(a) 在匹配计算预算下，比较含/不含零计算专家的模型验证损失曲线。基线模型（top-k=8，蓝色）每令牌固定激活 60 亿参数，而零专家变体（top-k=12，橙色）动态激活 42 亿至 70 亿参数，但保持 8 个前馈网络专家的期望值（波动小于 1%）。损失持续降低证明了零计算专家的有效性。(b) LongCat-Flash 训练期间激活的前馈网络专家平均数量。平均数量稳定在 8 左右，对应预期激活的 270 亿参数。© 激活前馈网络专家的标准差增至 3，表明不同令牌间激活参数存在显著波动。

2.1.1 计算预算控制

为激励模型学习上下文相关的计算分配机制，对零计算专家的平均选择率进行精细化控制至关重要。若无显式约束，模型倾向于低效利用零计算专家，从而导致计算资源利用率低下。

我们通过改进无辅助损失策略中的专家偏置机制[Wang et al., 2024a]来实现这一点：引入一个专家特定偏置项，该偏置项能根据专家近期利用率动态调整路由分数，同时保持与语言模型训练目标解耦。对于对应第i位专家的偏置项

b

i

b_i

bi​，其每一步的更新增量计算方式如下：

Δ

b

i

=

{

μ

(

K

e

K

⋅

1

N

−

T

i

K

T

a

l

l

)

,

i

f

1

≤

i

≤

N

,

0

,

i

f

N

<

i

≤

N

+

Z

,

(

2

)

\\Delta b_i=\\begin{cases}\\mu\\left(\\frac{K_e}{K}\\cdot\\frac{1}{N}-\\frac{T_i}{KT_{\\mathrm{all}}}\\right),&\\mathrm{if}1\\leq i\\leq N,\\\\0,&\\mathrm{if}N<i\\leq N+Z,&\\end{cases}\\quad(2)

Δbi​={μ(KKe​​⋅N1​−KTall​Ti​​),0,​if1≤i≤N,ifN<i≤N+Z,​​(2)

其中μ表示偏置适应率，

T

a

l

l

T_{all}

Tall​表示全局批次中的令牌总数，

T

i

T_i

Ti​表示路由至第i位专家的令牌数量，

K

e

K_e

Ke​表示激活前馈网络专家的期望数量，该值小于K。

所提出的更新规则采用了控制理论中的PID控制器（比例-积分-微分）[Bennett, 1993]，确保第i位专家的令牌分配收敛至其目标比例。与固定的偏置相比增量[Wang等人，2024a]机制提升了softmax路由器的概率分布在专家数量扩展时的鲁棒性。值得注意的是，我们将零计算专家排除在偏置更新之外，因其恒等性质仅需满足全局约束，而该约束在所有前馈网络专家达到其预期token比例时将自动满足。实证表明，大批次大小及对μ采用衰减调度能提升预算控制的稳定性，而小批次大小可能需要降低更新频率。

在预训练期间，我们记录了激活专家的平均数量与标准差（图3b与3c）。结果表明，经过约200亿词元的调整后，所有层中的平均专家数量均收敛至预期值，波动幅度小于1%。然而，标准差始终维持在较高水平，这表明模型在不同词元间分配的计算资源存在显著差异。

有关动态路由的详细统计数据和案例研究，请参阅附录A.1。

2.1.2 负载均衡控制

高效的MoE训练需要FFN专家之间实现稳健的负载均衡。虽然等式（2）在语料库级别强制实现了均衡，但我们进一步引入了设备级负载均衡损失[DeepSeek-AI et al., 2025]，以防止EP组之间出现极端的序列级不均衡。我们做出了必要努力以兼容零计算专家。具体来说，假设所有N个FFN专家被划分为D组，每组包含G = N / D个专家，则该损失可表达为：

L

L

B

=

α

∑

j

=

1

D

+

1

f

j

P

j

,

\\mathcal{L}_{\\mathrm{LB}}=\\alpha\\sum_{j=1}^{D+1}f_jP_j,

LLB​=αj=1∑D+1​fj​Pj​,

P

j

=

1

T

∑

i

∈

Group

⁡

j

∑

t

=

1

T

R

(

x

t

)

i

,

(

4

)

\\begin{aligned}P_j&=\\frac{1}{T}\\sum_{i\\in\\operatorname{Group}_j}\\sum_{t=1}^TR(x_t)_i,\\\\&&(4)\\end{aligned}

Pj​​=T1​i∈Groupj​∑​t=1∑T​R(xt​)i​,​(4)​

f

j

=

{

D

K

e

T

∑

t

=

1

T

I

(

t

o

k

e

n

t

 selects Group

j

)

,

i

f

1

≤

j

≤

D

,

1

(

K

−

K

e

)

T

∑

t

=

1

T

I

(

t

o

k

e

n

t

 selects zero-computation experts

)

,

i

f

j

=

D

+

1

,

(

5

)

\\begin{aligned}f_j=\\begin{cases}\\frac{D}{K_eT}\\sum_{t=1}^T\\mathbb{I}(\\mathrm{token~}t\\text{ selects Group}_j),&\\mathrm{if~}1\\leq j\\leq D,\\\\\\frac{1}{(K-K_e)T}\\sum_{t=1}^T\\mathbb{I}(\\mathrm{token~}t\\text{ selects zero-computation experts}),&\\mathrm{if~}j=D+1,&&\\end{cases}&\\mathrm{(5)}\\end{aligned}

fj​={Ke​TD​∑t=1T​I(token t selects Groupj​),(K−Ke​)T1​∑t=1T​I(token t selects zero-computation experts),​if 1≤j≤D,if j=D+1,​​​​(5)​

其中α为平衡因子，T表示微批次中的令牌数量，I为指示函数。在损失函数中，我们将所有零计算专家分配至一个额外组别，并对各组频率取平均值。通过调整fj的系数，我们确保当损失收敛时，前馈网络专家与零计算专家的比例趋近于

K

e

/

(

K

−

K

e

)

K_e/(K−K_e)

Ke​/(K−Ke​)。

2.2 快捷连接专家混合层

我们最初的架构采用了MoE与稠密前馈网络块交错排列的拓扑结构。该设计已通过大量实证研究得到充分验证，其性能表现与主流的共享专家模型相当[Rajbhandari et al., 2022, Liu et al., 2024a]。然而，大规模MoE模型的效率在很大程度上受限于通信开销。在传统的执行范式下，专家并行机制强加了一种顺序化的工作流程：必须首先通过集合操作将词元路由至指定专家，才能开始计算。这种通信延迟成为系统瓶颈，导致设备利用率不足，并制约了整体系统吞吐量。

共享专家架构试图通过将通信与单个专家的计算重叠来缓解这一问题，但其效率受限于该专家有限的计算窗口。我们通过采用快捷连接混合专家架构（ScMoE）[Cai et al., 2024] 克服了这一限制。ScMoE引入了一种跨层快捷连接，重新调整了执行流水线。这一关键创新使得前一个块中的稠密前馈网络能够与当前MoE层的调度/组合通信并行执行，从而创建出比共享专家设计更显著的重叠窗口。此外，以下关键发现验证了该架构设计选择的合理性。

首先，ScMoE结构不会损害模型质量。如图4所示，我们的架构与未使用ScMoE的基线的训练损失曲线几乎完全一致，这证实了这种重排序的执行方式不会削弱模型性能。在多种配置中均观察到一致的结果，包括采用MLA的2.4B-16B MoE模型、采用MHA的3B-20B模型[Vaswani等人，2017]，以及采用GQA的15B-193B模型[Ainslie等人，2023]。重要的是，这些发现表明ScMoE的稳定性和优势与注意力机制的选择是正交的。

图4：训练损失曲线对比基线模型（无ScMoE）与其ScMoE增强版本在四种不同模型配置下的表现。在所有实验中——(a) 采用MLA的2.4B-16B模型，(b) 采用MHA的3B-20B模型，以及© 采用GQA的15B-193B模型——损失曲线几乎完全重合。这提供了有力证据，表明ScMoE优化是质量中性的，其收益与模型规模及所使用的具体注意力架构均正交。

其次，ScMoE架构在训练和推理两个层面均能实现显著的系统级效率提升。

对于大规模训练：扩展的重叠窗口使得前一个块的计算能够与其在MoE层中的调度和组合通信阶段完全并行，这是通过沿令牌维度将操作分割为细粒度分块实现的。

针对高效推理：ScMoE支持单批次重叠流水线，相较于DeepSeek-V3等领先模型，将理论单输出词元耗时降低近50%。此外，该系统允许并行执行不同的通信模式：通过NVLink进行的节点内张量并行通信（在稠密前馈网络上执行）可与通过RDMA进行的节点间专家并行通信完全重叠，从而实现整体网络利用率的最大化。

总而言之，ScMoE在保持模型质量的同时实现了显著的性能提升。这些效率增益并非通过权衡取舍获得，而是经过严格验证、质量中立的架构创新所带来的直接成果。

2.3 面向可扩展性的方差对齐设计

在小尺度上表现优异的架构设计，随着模型规模扩大会逐渐失效；反之亦然，这使得初始设计选择失去参考价值。通过大量实验和理论分析，我们识别出特定模块中的方差失配是导致该差异的关键因素，这种失配会在模型扩展过程中引发不稳定性和性能下降。为应对这一挑战，我们针对MLA和MoE模块分别提出了方差对齐技术。

2.3.1 MLA尺度校正

LongCat-Flash采用了一种改进的多头潜在注意力（MLA）机制[Liu et al., 2024a]，该机制引入了尺度校正因子

α

q

α_q

αq​和

α

k

v

α_{kv}

αkv​，以解决非对称低秩分解中固有的方差失衡问题。我们整合了这些校正因子的完整数学公式如下：

c

t

Q

=

α

q

W

D

Q

h

t

∈

R

d

q

,

c

t

K

V

=

α

k

v

W

D

K

V

h

t

∈

R

d

k

v

,

c_t^Q=\\boxed{\\alpha_q}W^{DQ}h_t\\in\\mathbb{R}^{d_q},\\quad c_t^{KV}=\\boxed{\\alpha_{kv}}W^{DKV}h_t\\in\\mathbb{R}^{d_{kv}},

ctQ​=αq​​WDQht​∈Rdq​,ctKV​=αkv​​WDKVht​∈Rdkv​,

q

t

,

1

:

n

h

C

=

W

U

Q

c

t

Q

,

q_{t,1:n_h}^C=W^{UQ}c_t^Q,

qt,1:nh​C​=WUQctQ​,

k

t

,

1

:

n

h

C

=

W

U

K

c

t

K

V

,

k_{t,1:n_h}^C=W^{UK}c_t^{KV},

kt,1:nh​C​=WUKctKV​,

v

t

,

1

:

n

h

=

W

U

V

c

t

K

V

,

v_{t,1:n_{\\boldsymbol{h}}}=W^{UV}c_t^{KV},

vt,1:nh​​=WUVctKV​,

q

t

,

1

:

n

h

R

=

R

o

P

E

(

W

Q

R

c

t

Q

)

,

q_{t,1:n_h}^R=\\mathrm{RoPE}(W^{QR}c_t^Q),\\quad

qt,1:nh​R​=RoPE(WQRctQ​),

k

t

,

i

=

[

k

t

,

i

C

;

k

t

R

]

,

k_{t,i}=\\begin{bmatrix}k_{t,i}^C;k_t^R\\end{bmatrix},

kt,i​=[kt,iC​;ktR​​],

o

t

,

i

=

A

t

t

e

n

t

i

o

n

(

q

t

,

i

,

k

1

:

t

,

i

,

v

1

:

t

,

i

)

,

o_{t,i}=\\mathrm{Attention}(q_{t,i},k_{1:t,i},v_{1:t,i}),

ot,i​=Attention(qt,i​,k1:t,i​,v1:t,i​),

u

t

=

W

O

[

o

t

,

1

;

o

t

,

2

;

…

;

o

t

,

n

h

]

,

u_t=W^O\\left[o_{t,1};o_{t,2};\\ldots;o_{t,n_h}\\right],

ut​=WO[ot,1​;ot,2​;…;ot,nh​​],

其中

h

t

∈

R

m

o

d

e

l

d

h_t ∈ R^d_{model}

ht​∈Rmodeld​表示第t个词元的注意力输入，

n

h

n_h

nh​为注意力头的数量。

α

q

α_q

αq​与

α

k

v

α_{kv}

αkv​的引入旨在解决查询向量与键向量各分量间存在的基础方差失配问题。初始化时，各分量的方差与其源维度成正比：

σ

2

(

q

t

C

)

σ^2(q_t^C)

σ2(qtC​)、

σ

2

(

q

t

R

)

∝

d

q

σ^2(q_t^R) ∝ d_q

σ2(qtR​)∝dq​，而

σ

2

(

k

t

C

)

∝

d

k

v

σ²(k_t^C) ∝ d_{kv}

σ2(ktC​)∝dkv​。相比之下，旋转键分量ktR的方差与完整模型维度成正比：

σ

2

(

k

t

R

)

∝

d

m

o

d

e

l

σ^2(k_t^R) ∝ d_{model}

σ2(ktR​)∝dmodel​。当

d

q

d_q

dq​、

d

k

v

d_{kv}

dkv​和

d

m

o

d

e

l

d_{model}

dmodel​取值不同时，这种维度差异会导致初始化阶段注意力得分不稳定，进而在模型缩放过程中引发性能下降与不可预测的结果。

我们的解决方案是重新调整低秩路径组件的比例，使其最终方差与参考尺度对齐，并以完整模型维度作为参考标准。这是通过将缩放因子定义为以下形式实现的：

α

q

=

d

m

o

d

e

l

d

q

a

n

d

α

k

v

=

d

m

o

d

e

l

d

k

v

.

\\alpha_q=\\sqrt{\\frac{d_{\\mathrm{model}}}{d_q}}\\quad\\mathrm{and}\\quad\\alpha_{kv}=\\sqrt{\\frac{d_{\\mathrm{model}}}{d_{kv}}}.

αq​=dq​dmodel​​

​andαkv​=dkv​dmodel​​

​.

该尺度不变校正消除了方差失配，确保其满足注意力计算的良好条件。我们的实验表明，如图5a所示，此方法提升了模型性能。

图5：(a) 在MLA中引入尺度校正因子，显示出10亿激活参数的MOE模型收敛性改善（损失降低）。(b) 模型增长实验中，60亿激活参数MoE模型的验证损失曲线。

2.3.2 专家初始化方差补偿

LongCat-Flash采用DeepSeek-MoE [Liu et al., 2024a]中的细粒度专家策略，将每个专家分割为m个更细粒度的子专家，以提升组合灵活性与知识专业化程度。然而，我们发现该设计的性能对其他架构选择（如专家数量、top-k值、m值）较为敏感。为应对此问题，我们提出一种方差补偿机制，用以抵消专家分割导致的初始化方差下降。该机制通过一个缩放因子γ作用于专家聚合输出，其公式如下：

M

o

E

(

x

t

)

=

γ

(

∑

i

=

1

m

N

g

i

⋅

E

i

(

x

t

)

)

,

(

8

)

\\mathrm{MoE}(x_t)=\\gamma\\left(\\sum_{i=1}^{mN}g_i\\cdot E_i(x_t)\\right),\\quad(8)

MoE(xt​)=γ(i=1∑mN​gi​⋅Ei​(xt​)),(8)

其中

g

i

g_i

gi​ 为路由器在 mN 个细粒度专家上的输出，N 表示分割前专家的总数。

等式(8)中的缩放因子γ是通过量化两个主要的方差缩减来源推导得出的。

为在初始化时保持MoE层输出方差不变（与分割前基线匹配），γ必须同时补偿两种效应。因此，综合方差补偿因子为 γ = √m · m = m。

2.4 模型信息

Tokenizer LongCat-Flash采用字节对编码（BPE）[Shibata et al., 1999, Sennrich et al., 2015]进行分词。我们的分词器在涵盖网页、书籍、源代码等的综合多语言语料库上训练而成，确保了强大的跨领域性能。在继承GPT-4预分词框架的同时，我们引入了以下改进：（1）增强CJK字符分割以优化中文文本处理，以及（2）独立的数字分词以提升数学能力。词汇表大小优化为131,072个词元，在计算效率与语言覆盖范围之间实现了有效平衡。

多词元预测 为提升推理效率，我们引入多词元预测（Multi-Token Prediction, MTP）[Gloeckle et al., 2024; DeepSeek-AI et al., 2025]作为辅助训练目标。为实现最佳推理性能，我们采用单一稠密层而非MoE层作为MTP头部。实证观察表明MTP损失收敛迅速，因此我们策略性地在训练流程中期引入MTP训练，以平衡模型性能与预测准确性。评估中MTP头部接受率超过90%（表5）。

表5：6B激活模型下不同MTP头部结构在MT-Bench上的草稿令牌接受率。同时报告了MTP头部参数与主模型参数的比值。

模型配置 LongCat-Flash 包含 28 层（不含 MTP 层），隐藏状态维度为 6144。每个 MLA 模块使用 64 个注意力头，每个头的维度为 128，以实现性能与效率的平衡权衡。遵循 DeepSeek-V3 [Liu et al., 2024a] 的设置，我们将 KV 压缩维度设为 512，查询压缩维度设为 1536。稠密路径中的 FFN 采用 12288 个中间维度，而每个 FFN 专家使用 2048 维。MLA 模块和 FFN 模块中的缩放因子遵循第 2.3.1 节的方法。每层包含 512 个 FFN 专家和 256 个零计算专家，每个令牌精确激活 12 个专家（从两种类型中选择）。LongCat-Flash 总参数量为 5600 亿，根据上下文不同，每个令牌激活的参数量在 186 亿至 313 亿之间，平均激活参数量约为 270 亿。

3.预训练

LongCat-Flash的预训练遵循三阶段课程设计：(1) 我们使用约20万亿令牌、8192序列长度训练模型，以建立稳健的基座模型。(2) 利用数万亿数据进一步增强推理与编码能力。(3) 通过长上下文语料训练将上下文长度扩展至128k。每个阶段均实施定制化的数据策略，并辅以严格的去污染流程以防止测试集泄露。

为优化扩展性，我们引入超参数迁移与模型增长策略，在模型规模扩大时显著提升性能。针对大规模训练固有的不稳定性挑战，我们识别并实施了多种有效技术以增强训练稳定性。

3.1 训练策略

3.1.1 超参数迁移

LongCat-Flash采用一种基于宽度缩放的超参数迁移策略[Everett et al., 2024]来高效训练大规模模型。该方法包括两个步骤：(1) 在一个较小的代理模型上确定最优超参数；(2) 通过理论驱动的缩放规则，将这些配置迁移至目标模型。

该迁移机制的核心在于宽度缩放因子

s

=

n

t

a

r

g

e

t

/

n

p

r

o

x

y

s = n_{target}/n_{proxy}

s=ntarget​/nproxy​，其中n代表模型的隐藏维度。我们特别采用标准参数化下的"Adam LR完全对齐"规则。这些规则明确了如何将代理模型的最优初始化方差(σ²)和学习率(η)适配到目标架构中。实际迁移规则总结于表1。

表1：基于标准参数化亚当学习率完全对齐原理推导出的实用超参数迁移规则及其对应的标度指数[Everett et al., 2024]。此处s为宽度缩放因子

s

=

n

t

a

r

g

e

t

/

n

p

r

o

x

y

s = n_{target}/n_{proxy}

s=ntarget​/nproxy​。

按照该方法，我们的训练流程包含以下步骤：

我们进行了全面的实验以验证该方法的有效性。结果表明，该方法在为大规模模型训练确定最优超参数（初始化方差和学习率）时，能显著降低计算成本，同时为模型缩放建立了一个具有坚实理论基础的鲁棒框架。

3.1.2 模型增长初始化

LongCat-Flash 采用模型增长作为其初始化策略，从预训练于数百亿词符的半规模模型开始。在现有模型增长方法中[Chen et al., 2015; Du et al., 2024; Wang et al., 2023a; Shen et al., 2022; Wang et al., 2023b; Gong et al., 2019]，我们采用层堆叠技术[Du et al., 2024; Kim et al., 2023]来扩展参数并提升性能。暂时忽略嵌入与解嵌入过程，整个流程可表述为：

L

s

m

a

l

l

=

l

1

∘

l

2

∘

⋯

∘

l

n

L

t

a

r

g

e

t

=

L

s

m

a

l

l

∘

L

s

m

a

l

l

∘

⋯

∘

L

s

m

a

l

l

⏟

r

\\begin{aligned}&L_{\\mathrm{small}}=l_1\\circ l_2\\circ\\cdots\\circ l_n\\\\&L_{\\mathrm{target}}=\\underbrace{L_{\\mathrm{small}}\\circ L_{\\mathrm{small}}\\circ\\cdots\\circ L_{\\mathrm{small}}}_r\\end{aligned}

​Lsmall​=l1​∘l2​∘⋯∘ln​Ltarget​=r

Lsmall​∘Lsmall​∘⋯∘Lsmall​​​​

其中，li 表示模型中第 i 层的变换，r 表示扩展率，

L

s

m

a

l

l

L_{small}

Lsmall​ 表示小模型从词元嵌入到最终隐藏状态的变换，Ltarget 表示通过堆叠 r 个小模型副本所构建的目标（大）模型的变换。在我们的架构中，我们使用 r = 2。

通过大量实验，我们持续观察到通过模型增长初始化的模型表现出特征性的损失轨迹：初始阶段损失上升，随后加速收敛，最终表现超越随机初始化的基线模型。图5b展示了我们在60亿激活参数模型实验中的一个代表性案例，印证了模型增长初始化方法的优势。

我们推测这一改进源于两个协同因素：(1) 较小模型的快速收敛可能为扩展训练提供了更高质量的参数初始化；(2) 增长操作可能作为防止参数坍塌的隐式正则化项。实验证据进一步表明，对前代模型过度优化可能对目标模型的标记效率产生负面影响，这提示我们需要审慎选择增长时机。

在LongCat-Flash初始化过程中，我们首先在初始数据段上使用随机初始化训练一个与目标模型架构完全相同的14层模型。随后，将该训练完成的模型进行堆叠以构建28层检查点，完整保留前驱模型的所有训练状态，包括样本计数器和学习率调度参数。

3.1.3 训练稳定性

我们从三个角度提升LongCat-Flash的训练稳定性：路由器稳定性、激活稳定性与优化器稳定性。

路由器稳定性 训练MoE模型的一个根本性挑战在于路由器稳定性，其根源在于两种相互竞争的梯度之间的张力： • 语言建模损失，推动专家专业化（将词元分配给最合适的专家）， • 辅助负载均衡损失，强制实现路由均匀性（将词元均匀分配至各专家）。

当LB梯度占主导时，所有专家的路由器参数会趋于相似，导致无论输入标记如何都会产生统一的路由决策。这使条件计算的优势失效，并严重降低模型性能。为诊断和控制此行为，我们提出了一个监测框架，其中包含两个关键指标：

• 路由器权重相似度：测量专家权重向量{wi}间的平均两两余弦相似度。较高的相似度直接表明负载均衡损失占主导地位的程度过高。 • 梯度范数比（Rg）：量化两种损失对批次平均专家概率向量 ⃗P 的相对影响：

R

g

=

∥

α

∇

P

⃗

L

L

B

∥

2

∥

∇

P

⃗

L

L

M

∥

2

,

R_g=\\frac{\\|\\alpha\\nabla_{\\vec{P}}\\mathcal{L}_{\\mathrm{LB}}\\|_2}{\\|\\nabla_{\\vec{P}}\\mathcal{L}_{\\mathrm{LM}}\\|_2},

R<span class=\"mord mathnormal mt