写在前面
这篇博客是我对这篇论文的翻译和学习记录，论文原文发表于2026ACLmain（链接）。其仓库地址：GitHub – fletcherjiang/SignThought · GitHub，但是也有issue对其可复现性提问。
本文具有较多的数学公式，本博客中没有拷贝过多的数学公式，建议于原文对照着一起理解。
目录
写在前面
论文故事概述
提出的问题
方法核心思想概述
核心结论
0.摘要
1.引言
2.相关工作
手语识别与翻译
推理与潜在思维
3.方法
3.1.手语编码器
3.2.在潜在思维链中进行思考
可学习的思维槽位
思考层
3.3.双流解码器
3.4.训练目标
翻译损失
潜在思维链正则化
总体目标
4.LC-HKSLT数据集
5.实验
5.1.实验设置
5.2.与最先进方法的比较
5.3.消融实验
SignThought 关键组成部分的影响
超参数与结构强度消融
5.4.定性结果
6.结论
Limitation
附录
实验细节
数学化“引导”机制
补充消融实验
数据集
Scaling Law
附加定量结果
论文故事概述
提出的问题
现有很多gloss-free手语翻译方法，实际上隐含了一个假设：一小段手语视频，可以直接对应一个口语词语或短语。
作者认为这个假设并不准确。手语中的含义并不总是来自固定、可查词典的手势。很多表达属于论文所说的 Productive Forms（生产性形式）：手语者会利用手形、运动方向、空间位置和上下文，临时构造出新的含义。例如，同一个表示“车辆”的手形：
- 静止在某处，可能表示“停车”；
- 快速移动，可能表示“行驶”；
- 移动后撞向另一个位置，可能表示“撞车”。
因此，模型不能只识别“这是车辆手形”，还必须进一步推理：
- 有哪些对象？
- 对象位于什么位置？
- 对象如何运动？
- 对象之间发生了什么关系？
- 这些视觉信息最终应当怎样组织成一句话？
作者由此提出：手语翻译并不只是视频到文本的直接映射，而是一种跨模态推理任务。
方法核心思想概述
如图，传统直接翻译方法可能只识别出：一辆车在一棵树旁边；但视频真正表达的是“车辆向树移动并发生碰撞”。SignThought 会先形成类似下面的内部结构：对象A：车辆；对象B：树；动作关系：A 向 B 移动；结果：发生碰撞。然后生成：一辆车撞上了一棵树。这张图想表达的重点不是模型真的生成了这些文字形式的思维，而是：潜在思维能够整理对象、空间关系和动作方向，从而消除歧义。
不让解码器直接从长视频中生成句子，而是先把视频整理成一条有顺序的“潜在思维链”，再根据这条思维链生成文本。（SignThought）
- 手语编码器：输入手语视频特征后，编码器使用类似 Conformer 的结构，同时建模：长距离的时间关系；局部动作变化；连续视频帧之间的动态信息。最后得到逐帧的视觉证据。
- Conformer可以简单理解为Transformer + CNN，将多头自注意力、轻量级卷积、前馈网络和残差归一化结合起来，兼顾局部动作细节 + 长时间语义关系。
- 潜在思维链模块：模型设置 $K$ 个可学习的“思维槽位”，论文默认使用 $K=8$。这些槽位一开始只是空的可学习向量，之后通过多层“思考层”逐渐从视频中提取信息，它们不是自然语言句子，而是连续的隐藏向量，因此称为潜在思维。直观上，每个思维槽位负责视频中的一部分语义，而且后面的思维倾向于关注时间上更靠后的内容。
- 先规划、再定位的双流解码器：生成每个词时，解码器先关注潜在思维链，决定当前应该表达什么语义（思考流）。再返回原始视频特征，找到支持这个语义的具体视频帧（证据定位流）。
模型设置了默认8个可学习的“思维槽位”，它们不是预先插入视频的8个固定位置，而是通过软分段和结构化路由，动态地从视频不同时间区域通过交叉注意力和前后因果注意力掩码提取语义；解码器先关注思维链，决定当前要表达什么，再回到逐帧视频特征中寻找具体证据。
核心结论
Gloss-free 手语翻译不应只被看作连续视频到离散文本的直接转换，而应该被建模为一个跨模态、上下文相关的推理过程。SignThought 通过引入有顺序的潜在思维状态，在视频和文本之间增加一个中间语义层；再通过“先规划、后证据定位”的解码方式，提高翻译的连贯性和忠实度。
0.摘要
许多手语翻译（Sign Language Translation，SLT）系统都隐含地假设，较短的手语片段能够直接映射为口语中的单词。然而，这一假设并不成立，因为手语者经常利用上下文、空间和运动方式，即时构造所要表达的含义。本文重新审视手语翻译任务，并提出：手语翻译本质上主要是一项跨模态推理任务，而不仅仅是一个简单的视频到文本转换问题。为此，作者提出了一种推理驱动的手语翻译框架。该框架在视频与生成文本之间引入一组有序的潜在思维序列，并将其作为显式的中间层。这些潜在思维能够随着时间推进，逐步提取并组织视频中的语义信息。
在此基础上，本文进一步采用一种先规划、再定位证据（plan-then-ground）的解码方法：模型首先决定自己想要表达什么，然后再返回视频中寻找相应的证据。通过分离语义规划与视觉证据定位，这一方法提高了生成结果的连贯性和忠实性。
此外，我们还构建并公开了一个新的大规模无词汇标注手语翻译数据集。该数据集具有更强的上下文依赖关系，并包含更加贴近现实的语义表达。在多个基准数据集上的实验结果表明，本文方法相较于现有无词汇标注手语翻译方法取得了稳定的性能提升。本文的代码和数据已经公开。
1.引言
手语翻译（Sign Language Translation，SLT）不仅是一项连接聋人及听障群体的重要辅助技术，也是自然语言处理领域中一项具有挑战性的多模态任务。该领域的研究已经经历了显著发展：早期方法将手语翻译视为针对视频片段的词汇级分类问题，而较新的研究则将其建模为一种无词汇标注的视频到文本序列转换任务，并采用专用模型架构或多模态大语言模型加以解决。尽管这些研究已经取得了令人鼓舞的成果，但仍然存在很大的提升空间。
现有模型设计中的一个关键局限，是长期以来存在一种错误认识：将手语视频片段视为可以直接映射到固定口语单词或短语的内容。这种认识源于早期研究主要关注“固化词库”，也就是手语词典中所列出的有限数量的约定俗成手势，而在很大程度上忽略了“生产性形式”。生产性形式通过分类词、空间语法和动作变化即时构造，形成一个开放的、由上下文决定的表达系统，因此无法被穷举为离散的词汇条目。例如，同一个表示“车辆”的手形，仅通过运动方式和空间位置的变化，就可以表达“停车”“碰撞”或“驾驶”等含义。因此，手语中的含义通常不是明确编码在固定符号单元中的，而是由运动、空间和话语上下文动态生成的。由此可见，手语翻译是一项具有生成性和上下文依赖性的推理任务，而不仅仅是片段对齐或符号替换。
从这一角度来看，手语翻译与近期文本推理技术的发展具有天然联系。在文本推理中，模型会显式维护中间语义状态，以便在监督信号较弱或语义隐含的情况下，支持多步意义组合。然而，与纯文本推理不同，手语翻译中的推理必须跨越视觉和语言这两种性质不同的模态。由于缺少离散的推理基本单元和显式的中间表示，现有推理技术难以直接迁移到手语翻译中，因此手语翻译中的多模态推理仍然很少得到探索。基于此，作者将这项工作定位为一项探索无词汇标注手语翻译中显式推理建模方式的初步研究，其目标是识别其中的基础性挑战，并探索具有原则性的解决方案。
这一研究范式通过以下三个方面应对手语翻译中的推理挑战：
- 潜在思维抽象。 作者引入潜在思维，将其作为手语视频与文本生成之间显式的中间语义接口。模型不再把全部语义信息压缩进不透明的编码器特征中，而是维护一组有顺序的潜在推理状态，从长而连续的视觉序列中逐步提炼和组织语义，从而弥合连续视觉证据与离散推理基本单元之间的不匹配。
- 规划与证据定位解耦。 作者通过一种“先规划、再定位”的生成机制，显式分离推理过程与证据定位过程：模型首先通过潜在思维进行推理，确定应当表达哪些语义内容，然后再决定从视频的哪些位置提取相应的视觉证据。这种解耦缓解了现有手语翻译系统中语义决策与证据检索之间的高度耦合，从而提高了模型的可控性以及证据定位的忠实性。
- 可追踪的证据对齐。 潜在思维不仅作为模型内部的规划状态，还充当可追踪的语义锚点，将生成文本与输入视频中的特定时间区域对齐。这样，模型能够明确指出生成内容所依据的视觉证据，从而得到更加忠实的翻译。同时，作者新构建的大规模无词汇标注手语翻译数据集，为研究和验证这类推理行为提供了必要的实验基础。
2.相关工作
手语识别与翻译
手语识别（Sign Language Recognition，SLR）旨在将手语视频映射为词汇序列，其研究已经从孤立手语识别（ISLR）发展到连续手语识别（CSLR）。典型流程首先从 RGB 图像或人体姿态输入中提取视觉特征，随后使用 RNN、LSTM 或 Transformer 架构对时间动态进行建模，最后通过隐马尔可夫模型（HMM）或连接时序分类（CTC）目标解码得到词汇序列。虽然这类系统具有较好的效果，但其计算成本较高，并且利用高层语言上下文的能力有限。手语翻译（SLT）在此基础上进一步将手语视频翻译为口语或书面语言。目前，大多数方法仍然依赖词汇标注，通常将手语识别与文本翻译串联起来，或者对这两个任务进行联合优化。相比之下，无词汇标注手语翻译直接学习视频到文本之间的映射，并使用基于 Transformer 的模型或变分模型进行处理。尽管近期利用大规模多模态预训练和大语言模型适配的方法提高了翻译流畅度，但这些方法也带来了显著的计算开销，并增加了对外部语料库的依赖。
推理与潜在思维
思维链（Chain-of-Thought，CoT）提示通过引导大语言模型生成中间推理步骤，增强了模型的多步推理能力。自洽性、规划、搜索以及工具增强推理等扩展方法，进一步提升了推理的稳健性和能力。除了通用推理任务之外，大语言模型也被应用于具有记忆和推理能力的个性化推荐助手。思维链方法还被用于多模态定位和视频推理任务。近年来，推理方式逐渐从离散的语言词元转向连续的潜在空间，在这类方法中，隐藏状态通过反馈或迭代计算被重复利用，并作为“潜在思维”；与此同时，相关研究也从理论上分析并总结了思维链与潜在思维范式之间的关系。值得注意的是，现有潜在思维方法主要作用于单模态大语言模型中的词元级嵌入，而本文的潜在思维是由视频条件控制的潜在槽位。这些槽位通过关注手语视频特征不断更新，并明确充当跨模态接口，在无词汇标注手语翻译中连接视觉证据与文本解码过程。
3.方法
本文研究无词汇标注手语翻译（SLT）任务。在该任务中，监督信息仅包含句子级翻译，不包含任何中间词汇标注。给定一个手语视频片段，模型的目标是生成对应的目标口语句子。设一个手语片段表示为视觉观测序列，其中使用的是预先提取的特征。二值掩码用于在视频经过填充时标记有效时间步。目标翻译表示为词元序列。作者假设数据集由成对样本构成。
关键在于，训练过程中不提供词汇序列，也不提供手语片段与文本词元之间的对齐关系。作者学习一个条件序列模型，使给定手语片段时目标句子的似然最大化。模型按照自回归方式逐词生成句子，每个词的生成都依赖于此前已经生成的词以及输入手语视频。
除了标准的自回归建模形式之外，本文还引入了一组由 K 个有序潜在思维状态组成的中间表示。这些潜在思维状态是从输入 X 中提炼得到的中间语义规划，并在文本生成过程中供解码器使用。
如图，展示了 SignThought 的整体结构的三个部分，红色虚线表示路由偏置，即模型利用思维与视频片段之间的对应关系，引导解码器关注相关的视频时间区域。
3.1.手语编码器
给定一个手语视频片段，作者将其表示为特征序列，其中每个 x 都是由预训练 Inception 网络在时间步 t 提取的视觉特征向量。按照已有工作的特征设置，作者使用开源的 Inception 网络初始化视觉特征提取器，并在特征学习过程中移除依赖词汇标注的监督。该特征提取器仅使用配对的手语视频与句子数据，并通过句子级对比学习目标进行训练。作者使用二值掩码标记有效的非填充位置。首先，作者通过一个可学习的嵌入层，将原始逐帧特征投影到模型表示空间中。该步骤将不同时间步的手语特征统一映射到共享表示空间中，以便后续进行序列建模。
- Inception 是一种卷积神经网络。Inception 视觉特征提取器使用配对的手语视频—句子数据，通过句子级对比学习目标进行训练。（本文没有说明这个句子编码器的具体结构，也没有详细给出对比学习阶段的训练流程）
- SignThought 正式训练时的输入是 Inception 已经提取好的特征，而不是直接输入原始视频帧端到端训练 Inception。Inception 并不是整体流程图（图 2）中的 Sign Embedding模块，Emed(·) 负责把 Inception 提取的原始特征 X 的维度投影到 SignThought 的模型维度。
为了向特征中加入顺序信息，作者添加位置编码，随后再应用 Dropout。之后，作者堆叠若干编码器层，对长距离依赖关系和局部运动模式进行建模。每个 EncBlock 采用类似 Conformer 的设计，将由掩码 m 控制的多头自注意力，与轻量级卷积模块结合起来。自注意力用于建模较远时间步之间的关系，卷积模块用于捕捉局部时间动态；此外，编码器块还包含前馈子层、残差连接和归一化。最终的编码器输出序列 E 作为逐帧视觉证据来源，同时提供给第3.2节的潜在思维链模块和第3.3节的双流解码器。
- Sign Encoder 是由多个 EncBlock 堆叠而成的。
- 完整关系应该是原始视频->（Inception->预提取特征 X->）Sign Embedding：Embed(X) ->Encoder。Inception 负责从原始帧得到 X；Sign Embedding 负责把 X 投影到模型空间；Sign Encoder 是多个 Conformer-style EncBlock 的堆叠，输出最终逐帧证据 E。
3.2.在潜在思维链中进行思考
思考模块的目标，是将密集的编码器表示 E 转换为一组紧凑且有序的 K 个潜在思维状态。这些潜在思维状态共同构成用于翻译的高层语义规划。与依赖词汇标注的方法不同，这些思维状态仅在句子级监督下进行端到端学习，并被显式组织为一条具有方向性的潜在思维链。给定编码器特征以及相应的源序列掩码，该模块输出可学习向量。
可学习的思维槽位
Gloss-free 手语翻译面临的一个核心困难是：视频提供了密集且冗余的证据，而翻译所需要的却是一系列紧凑的语义决策。作者没有要求解码器在生成过程中临时发现这种结构，而是引入了一个显式的中间接口，即一组有序的思维槽位，将其作为模型进行逐步语义组合时的工作记忆。具体来说，作者使用 K 个可学习槽位初始化思维链，每个槽位中都是一个可训练参数，在注入视频证据之前充当空的推理状态。这些槽位可以被看作尚未填写内容的推理状态，之后会被从特征 E 中提炼出的语义证据填充。
思考层
Gloss-free 手语翻译中的一个关键瓶颈是：编码器产生的是长而连续的证据序列 E，但文本生成最终需要的是紧凑且结构化的语义规划。如果让解码器直接关注全部视频帧，它就必须同时决定“要表达什么”以及“相应证据位于哪里”，这通常会导致注意力分散，并使证据追踪不稳定。因此，作者在解码之前设置了一个专门的思考阶段，反复将 E 压缩并重新组织成有序的潜在思维链 C。为了使这一压缩过程既具有足够的表达能力，又能够受到控制，作者堆叠 L 个结构相同的思考层，对思维链进行迭代更新。每个思考层包含两个主要步骤：首先通过因果思维混合引入有序的思维链先验，然后使用证据路由交叉注意力，以结构化方式从视频中检索证据。作者首先在潜在思维链内部引入具有方向性的、由粗到细的更新方式。具体来说，作者在 K 个思维状态之间应用带下三角因果掩码的自注意力，使第 k 个思维只能关注前 k 个思维。这种简单的先验将原本的一组思维状态转换为一个有序的工作空间：较早的思维负责概括较粗粒度的语义，并为后续思维提供上下文；较后的思维则在此基础上补充和细化更多信息，从而使中间推理过程更加稳定，也更容易解释。
第二个挑战是如何分配视频证据。从思维状态直接对全部视频帧执行标准交叉注意力，不仅在长视频上效率较低，而且容易发生退化，即多个思维反复关注相同的视频帧。为解决这一问题，作者在检索证据之前先执行路由：首先通过连续性损失 Lcont，鼓励每个思维负责近似连续的时间区域；随后，每个思维只在其负责的区域中提取细粒度证据。作者从逐帧特征序列 E 中构造两种证据：第一种是原始的逐帧证据；第二种是一小组通过可微分时间软分段得到的片段级词元 S。直观而言，S 提供稀疏的语义“块”，类似潜在的短语单元，而逐帧证据则保留细粒度的词汇和动作细节。作者通过每个样本独立预测的软边界，计算片段到帧的权重矩阵：每一行定义一个软时间窗口，并在全部视频帧上进行归一化。片段词元通过加权池化得到。给定片段词元和潜在思维，作者计算相似度得分矩阵。随后，作者应用可微分的 Sinkhorn 风格归一化，得到软绑定矩阵。由此得到一个近似平衡的传输方案：每个思维获得总量相近的证据，而每个片段分配给不同思维的总量受到限制，并且在各个思维之间较为均匀。这样可以防止路由结果坍缩，同时仍然保持完全可微的软分配。每个思维接收一个经过路由的片段摘要。在路由摘要 pk 的条件控制下，每个思维进一步通过交叉注意力从 E 中检索细粒度的手语证据。对于较长的视频，还可以选择使用稀疏检索或可变形检索，以提高计算效率。在具体实现和框架总览图中，该操作将“构造证据表示、执行路由以及检索证据”封装为一个统一算子，并使用 pk，或者等价地使用由 A 所确定的路由结果，对思维到逐帧特征 E 的交叉注意力施加偏置。最后，作者使用带残差归一化的位置前馈网络，得到当前思考层的输出。最终得到的思维链 C 会在第 3.3 节中通过思维交叉注意力提供给解码器。此外，思考模块产生的中间路由变量，例如思维到片段的绑定矩阵 A 和软分段权重，也可以被缓存为内部先验，用于引导双流解码器中的视觉证据定位，而不需要改变模型的输入与输出形式。
- 从整体理解上，3.2 节的核心，就是把长而密集的逐帧特征 E 压缩、整理成一条紧凑且有顺序的“语义规划”。潜在思维链=语义规划+视频证据索引。以下是按照模型实际执行的顺序，由于公式较多且论文写的理解起来较为抽象，按我的个人理解一步一步解释：
- 第零步：整个模块的输入是什么？思维槽位一开始什么样？思维槽位在整个模型中是与特征序列拼接在一起的吗？
- 输入是逐帧的特征序列（很长且有很多冗余信息）。
- 在训练开始时，思维槽位只是随机初始化的向量，不包含当前视频的具体内容；经过训练后，它们会逐渐学会充当不同的“信息收集槽位”。
- 思维槽位并不会被插入到视频帧特征序列 E 的前面、后面或中间。它们是与视频特征序列并行存在的另一组向量。可以理解为两条独立序列，然后通过交叉注意力建立联系。因此，思维槽位有没有固定的视频位置、也没有没有预先指定与视频时间位置之间的关系，都是动态学习的。
- 矩阵区分：
- Wseg：视频软片段到视频帧的关系，它的元素表示第 t 个视频帧，对第 j 个片段词元贡献了多少权重，用它把逐帧特征汇总成片段词元。
- G：思维到视频软片段的匹配关系，它的元素表示第 k 个思维和第 j 个片段有多匹配。
- A：归一化后的思维到视频软片段分配关系。它的元素表示第 j 个片段有多少信息被分配给第 k 个思维。
- 第一步：把长视频软分成多个片段。（逐帧特征 E 太长，因此模型首先把它们整理成 M 个较粗的片段词元，论文默认 M 为 16）什么是片段词元？什么是软边界和软时间窗口？这些软边界从哪里来？为什么要用软边界？
- 片段词元 Sj 是一段连续视频帧特征的加权汇总，例如模型可能大致形成S1：第 1～8 帧附近的信息、S2：第 7～15 帧附近的信息、…、S16：最后一段视频的信息。注意，这里的范围不是硬切割，因此相邻片段可以重叠。
- 硬切分：一帧只能属于一个片段，边界是固定整数。本文使用软边界，例如第 10 帧可能属于片段1的权重：0.7、属于片段2的权重：0.3。这就是“软时间窗口”：每个片段不是选中一个绝对固定的帧区间，而是对附近的帧赋予不同大小的权重。
- 边界由当前视频的编码器特征 E 经过可学习 MLP 动态预测，不是人工标注，也不是固定平均切分。作者使用两个 Sigmoid 函数之差，为边界附近的帧计算平滑权重，从而得到软时间窗口，例如结果有可能会出现视频A：动作变化较均匀 → 16个片段长度较接近；视频B：前面静止时间较长，后面动作密集 → 前面片段可能更长，后面片段可能更短。
- 这样软边界不强迫某一帧只能属于一个片段。分段 MLP 属于 SignThought 的思考模块，与编码器、思维槽位、路由模块和解码器一起端到端训练。
- 第二步：让思维之间先交流——因果思维混合。（获得当前思考层thinking layer的思维状态后，模型先执行 Transformer 中的自注意力）思考层？什么是因果思维混合？什么是带下三角因果掩码的自注意力？什么是“有序的工作空间”？前面的思维是负责整句粗粒度，还是句子前半部分？
- 论文默认堆叠了2个思考层，后一个思考层接收上一个思考层的输出然后继续更新这些思维槽位。软分段是思考层中的一个步骤
- ”后可以看到前、前不可以看到后“的这种单向访问规则被作者称为“因果思维混合”。所以它形成了一条单向的信息累积链。
- 这种单向访问规则写成掩码矩阵，允许访问的区域位于矩阵的下三角，因此称为下三角因果掩码。如果没有这个掩码，每个思维都可以同时看到其他所有思维。那么这些思维更容易变成一组无顺序、内容相似的向量。
- 因为思维链（向量）也有这种前后的信息依赖关系，所以“工作空间”可以理解为模型用于临时整理语义的一组有序的记忆格，“有序”表示这些记忆格不是完全并列的。
- 思维链向量具有两类约束，一类是因果自注意力带来的“由粗到细”（论文中写作：较早的思维总结粗粒度语义并提供上下文，较后的思维在此基础上增加细节）；另一类是单调性约束带来的“从前到后”（论文中写作：后面的思维倾向于绑定时间上更靠后的片段）。因此，综合起来：前面的思维倾向于提取较早视频区域中的较粗语义；后面的思维倾向于提取更靠后的区域，并且能够利用前面思维提供的上下文进一步细化整体语义。但这只是倾向，不是硬规定，一个思维可以关注多个片段、相邻思维可以重叠、第一个思维不一定只关注第一小段、不能保证每个槽位具有固定且可命名的人类语义。
- 第三步：计算思维与片段之间的匹配程度。（矩阵中每个元素 Gk,j 表示第 k 个思维与第 j 个视频片段有多匹配，但原始相似度不能直接使用，因为可能出现所有思维都选择同一个最明显的视频片段）Gk,j是哪来的？什么是可微分的 Sinkhorn 风格归一化？为什么 Sinkhorn 能得到近似平衡的分配？
- Gk,j 使用了与注意力分数相似的“缩放点积”计算，但论文将它称为思维与片段之间的相似度矩阵，而不是完整的标准交叉注意力。可以把 G 理解为思维到片段的注意力分数或路由分数。
- Sinkhorn 归一化可以简单理解为：反复对矩阵的行和列进行缩放，使每行、每列的总权重接近预先规定的值。
- 论文中有两个约束：一、每一行的总和约等于 1（一行对应一个思维，因此这表示：每个思维可以分配的总证据量大致相同，不会出现思维1获得大量证据但思维2、3几乎全空着这类情况）。二、每一列的总和约等于 K/M（一列对应一个视频片段，因此这表示：每个片段能够分配出去的总权重受到限制，不会出现某个片段被所有思维无限集中关注）。这就是论文所说的近似平衡传输方案。
- 第四步：为每个思维形成片段摘要。（得到软绑定矩阵 A 后，第 k 个思维获得pk 是分配给第 k 个思维的片段信息加权平均，例如： p1=0.6S1+0.3S2+0.1S3，它可以理解为：思维 1 主要负责片段 1，其次负责片段 2，少量参考片段 3。但 pk 还是片段级的粗略摘要，没有保留全部细粒度帧信息）
- 第五步：证据路由交叉注意力。（让思维槽位从视频帧 E 中提取证据，从而构造和更新思维链）这一步可以拆成两个概念：
- 交叉注意力，查询来自思维、键和值来自逐帧视频特征，也就是：每个思维向全部视频帧提问：“哪些帧包含我需要的信息？”
- 证据路由，普通交叉注意力允许每个思维自由关注全部帧，容易导致所有思维都关注相同的明显区域。证据路由则使用刚才得到的 pk、A 和 Wseg，为交叉注意力添加偏置：第 k 个思维应优先查看已经被路由给它的时间区域。这就是“先路由，再检索”：先判断每个思维大致负责哪个时间区域->再到该区域的逐帧特征中查找细节。pk 不是直接替代思维作为 Query。Query 仍然是思维向量；pk 的作用主要是引导或偏置注意力，使思维不要在整段视频中盲目搜索。
- 如何运用片段摘要去引导对应思维通过交叉注意力返回逐帧特征 E 中检索细节？先计算“思维与每一帧”的普通注意力分数，再利用片段摘要 pk 或其对应的路由结果，对这些分数进行引导。思维先查看所有视频帧，得到“这个思维认为每一帧有多重要”的普通注意力分数。pk 告诉注意力应该优先看哪里，pk 或由软绑定矩阵 A 得到的路由信息，会作为一个偏置加入注意力分数。最终分数=思维与帧的普通匹配分数+路由引导分数。模型将最终分数 softmax 归一化，得到每一帧的注意力权重。交叉注意力根据这些权重汇总逐帧特征，这样思维就能从原始逐帧特征 E 中取回比片段摘要更细的信息。检索结果与原来的思维表示融合，再经过残差连接、归一化和 FFN，得到更新后的思维向量。
- 整理一下：逐帧特征 E → 分段 MLP 预测软边界 → 生成软分段权重 Wseg，并加权汇总得到片段词元 S → 思维槽位之间进行因果自注意力让思维槽位有前后顺序 → 计算思维 C 与片段 S 的相似度 G → 通过 Sinkhorn 归一化 G 得到软绑定矩阵 A → 对 A 的每一行加权汇总片段词元，得到每个思维的片段摘要 pk → pk 作为路由提示，引导对应思维通过交叉注意力返回逐帧特征 E 中检索细节 → 经过 FFN，得到更新后的思维向量。(计算每个思维看哪个片段→通过思维回逐帧特征中检索细节)
3.3.双流解码器
作者采用一个自回归 Transformer 解码器，显式遵循“先规划、再定位”的生成模式。在每一个解码器层中，解码器首先查询潜在思维链，以决定需要表达什么语义内容；随后再返回编码器特征，从中检索细粒度的手语证据，以确定如何将这些内容表达为流畅的文本。
给定输入文本前缀 y<t，训练时使用教师强制，作者通过标准的词嵌入、位置嵌入以及可选的词元类型嵌入，对这些词元进行编码，从而获得解码器状态。设 H(l−1) 表示进入第 l 个解码器层的隐藏状态。每个解码器层包含以下子层。首先，对此前已经生成的词元执行带掩码的自注意力，其中，后续位置掩码保证模型以自回归方式生成文本。随后，解码器关注潜在思维链 C，直观而言，这一步会从有序思维链中选择当前所需的语义“推理状态”，从而为接下来要生成的词元提供高层语义规划。作者同时保留解码器对各个思维的注意力权重，并将其记为 α。这些权重反映了每个目标文本位置主要依赖哪些思维。
为了使“先思考、再定位”不仅仅表现为两个操作的执行顺序，而成为一种实际机制，作者利用思考模块针对每个样本产生的中间路由变量，从 α 中推导出一个软时间检索先验。具体来说，作者重新使用思维到片段的绑定矩阵 A 和片段到视频帧的聚合权重 Wseg，将“目标词元到思维”的注意力映射为“目标词元到视频帧”的先验。由于这些矩阵中的所有元素均为非负数，因此 w 的每一行都构成一个近似归一化的软时间先验。该路由先验仅在模型内部使用，不会改变模型的输入和输出；即使省略该先验，也不会改变解码器的接口。最后，解码器关注编码器特征 E，得到已经与视觉证据对应的解码器状态。
该交叉注意力会应用标准的源序列掩码。当启用路由先验 w 时，作者将其作为一个软加性偏置加入注意力分数中，鼓励解码器从与当前所选思维相符的时间区域中检索证据。这样便实现了由思维引导的证据检索，同时保留了标准 Transformer 解码器的整体结构。最后，使用带残差连接和层归一化的逐位置前馈网络，产生当前解码器层的输出。最终的解码器状态经过词表投影，得到各个词元的概率。模型使用标准的序列级交叉熵目标进行训练，具体内容将在第 3.4 节介绍。
标准transformer
Encoder
输入 → Embedding → Self-Attention → FFN
↓
E
↓
之前的目标词 → Masked Self-Attention
↓
Cross-Attention(E)
↓
FFN
↓
Linear + Softmax
↓
下一个词
SignThought
手语视频
↓
Sign Embedding
↓
Sign Encoder
↓
逐帧证据 E
↓
Thinking Module
↓
潜在思维链 C
┌──────── C
↓
之前的目标词 → Masked Self-Attention
↓
Cross-Attention(C)
“先决定表达什么”
↓
├──────── E
↓
Cross-Attention(E)
“再查具体视频证据”
↓
FFN
↓
Linear + Softmax
↓
下一个词
3.4.训练目标
翻译损失
给定一个由成对数据组成的小批量数据对，作者使用教师强制（teacher forcing）和标准交叉熵损失训练双流解码器。简单来说，Lce 要求模型在给定此前正确文本 + 视频证据 E + 思维链 C 的情况下，尽可能正确地预测下一个词元。
潜在思维链正则化
为了鼓励潜在思维表现为一条由连续语义单元组成的有序链条，作者在思考模块产生的思维到片段分配矩阵 A 上加入两个简单的正则化项。
首先，定义分配给第 k 个思维的期望片段索引，例如，如果某个思维主要关注较前面的片段，那么它的 μk 较小；如果主要关注后面的片段，那么 μk 较大。作者使用对违反前向、由粗到细推进顺序的情况进行惩罚Lmono（RELU函数）。总之，最终期望的结果是随着思维链c1-c2-c3……，思维所负责的视频区域倾向于沿时间方向向后推进，从而避免思维链的时间顺序发生混乱。
作者还使用总变差惩罚（total-variation penalty）Lcont，鼓励每个思维在片段空间中关注一个连续区域。这个损失比较同一个思维在相邻片段上的分配权重，如果相邻片段的权重发生剧烈跳变，损失就会增大。因此，它鼓励思维的片段分配更加平滑、连续，而不是在时间上非常分散地跳来跳去。
总体目标
最终训练损失为：Ltotal=Lce+λmonoLmono+λcontLcont。可以理解为
- Lce：让最终翻译正确；
- Lmono：让不同思维大致按照视频从前到后的顺序排列；
- Lcont：让每个思维尽量关注连续的视频区域。
λmono=0.1，λcont=0.2，用于控制两个结构正则化项的强度。
4.LC-HKSLT数据集
尽管 gloss-free SLT 近年来取得了进展，但现有基准数据集通常规模有限，或者无法充分反映真实部署环境。在真实场景中，通常只能获得视频及其句子级翻译，而没有词汇标注（gloss）或手语识别（SLR）词表，并且这些数据还可能包含噪声。这种设置更加要求模型具备稳健的跨模态推理与证据定位能力。为了在更加真实的环境中研究大规模无词汇标注手语翻译，作者构建了 LC-HKSLT，这是一个香港手语语料库，从公开发布会等广播形式的视频中整理而来，视频中的手语翻译员持续可见。该数据集包含 1,311 小时的视频，共 432K 个片段，并且只提供句子级监督信息，不提供词汇标注，也不提供 SLR 词表，与本文所设定的实际应用场景相一致。完整的数据集细节见附录 C.1。
5.实验
5.1.实验设置
数据集。 按照已有工作，作者在五个手语翻译基准数据集上开展实验：PHOENIX-2014T（DGS，德国手语）、CSL-Daily（CSL，中国手语）、How2Sign（ASL，美国手语）、OpenASL（ASL，美国手语），以及本文构建的 LC-HKSLT 数据集。
评估指标。 与已有研究保持一致，作者使用 BLEU 和 ROUGE-L 评估手语翻译性能。BLEU-n 衡量 n-gram 的精确率，本文报告 BLEU-1 至 BLEU-4（B1-B4）。ROUGE-L 则根据模型生成结果与参考答案之间的最长公共子序列计算 F1 分数。
5.2.与最先进方法的比较
表 1 展示 PHOENIX14T 和 CSL-Daily 数据集上的 SLT 结果。原表使用粗体标记最佳结果，并使用下划线标记第二优结果。表 2 中，T5-SLT-YT 表示首先在 YouTube-ASL 上进行训练，然后在 How2Sign 的 30 小时数据划分上进行微调。原表中，最佳结果使用粗体表示，第二优结果使用下划线表示。表 3 报告四种公开可用的开源无词汇标注基线方法以及 SignThought 的结果。† 表示首先使用 LC-HKSLT 剩余数据进行预训练，再在整理出的 30 小时数据划分上进行微调的版本。
表 1 和表 2 将 SignThought 与五个基准数据集上的代表性无词汇标注 SLT 方法进行了比较。SignThought 在所有数据集上都取得了最佳的无词汇标注 BLEU-4，并且在 PHOENIX14T、How2Sign、OpenASL 和 LC-HKSLT 上取得最高 ROUGE，在 CSL-Daily 上也保持了具有竞争力的性能。在 PHOENIX14T 上，SignThought 达到 27.22 BLEU-4 和 54.50 ROUGE，超过此前最强的无词汇标注方法 C2RL 的 26.75 / 50.96，同时也超过近期借助 LLM 的基线方法。在 CSL-Daily 上，SignThought 达到 23.92 BLEU-4 和 50.99 ROUGE，优于 C2RL，并且在 BLEU-4 上略微超过 VAP。值得注意的是，在大规模数据集上的提升更加明显：How2Sign 的 BLEU-4 从 9.37 提升到 13.39，OpenASL 则从 13.21 提升到 19.55，同时 ROUGE 也获得一致提升。
在 LC-HKSLT 上，SignThought 在公开可用的方法中建立了新的最先进结果，达到 21.15 BLEU-4 和 47.87 ROUGE。此外，由于现有公开 SLT 基准的数据规模有限，大多数已有方法无法在可比较的条件下进行额外的领域内预训练。作者使用 LC-HKSLT 剩余数据对 SignThought 进行预训练，再在整理出的 30 小时数据划分上进行微调，获得了显著的进一步提升，该版本在表中以 † 标记。这说明扩大同领域手语—文本数据规模具有关键作用。
5.3.消融实验
SignThought 关键组成部分的影响
作者在 PHOENIX14T 开发集上开展消融实验，其他实验结果见附录。移除潜在思考模块（ID 1）会造成最大的性能下降，这验证了显式中间推理接口的必要性。关闭因果思维更新（ID 2）会进一步降低准确率，说明具有链式结构的推理优于无序的潜在表示。将结构化路由替换为软路由（ID 3），以及将双流解码器简化为单流解码器（ID 4），都会造成性能下降，这凸显出显式证据分配和“先规划、再定位”解码机制的重要性。移除思维引导的先验注入（ID 5）会导致幅度较小但稳定的性能下降，说明该机制能够帮助突出相关的时间证据。最后，分别移除 Lmono 或 Lcont（ID 6-7）产生的影响较小，但同时移除两者（ID 8）时性能下降更加明显，这表明二者在稳定连贯的“思维—证据”对齐关系方面具有互补作用。
超参数与结构强度消融
在 PHOENIX14T 上，作者每次只改变一个因素，其余部分保持完整模型不变。作者分别改变思维数量：K∈{2,4,6,8,10}，即推理槽位数量；思考深度：L∈{1,2,3,4,5}，即思维的迭代细化次数；以及片段词元数量：M∈{4,8,16,32,64}，即用于路由的证据粒度，以研究推理容量和路由复杂度之间的权衡，并寻找实际使用中的较优配置。
5.4.定性结果
表 6 给出了 CSL-Daily 上具有代表性的案例，对 SignThought 和近期一个开源无词汇标注 SLT 基线 GFSLT-VLP 进行了比较。按照表注中的颜色方案，SignThought 能够持续保留参考答案的核心语义，同时允许存在少量改写；相比之下，GFSLT-VLP 更容易出现语义漂移或遗漏关键信息。例如，它将“两张照片之间的差别”过度泛化成模糊的“照片有问题”，削弱了“一整天”这样的持续时间表达，或者直接遗漏显著实体，例如“肯德基”。这些案例从定性角度支持了作者的观点：本文提出的潜在推理和证据分配机制有助于保持翻译的忠实性以及与视觉证据的一致性，尤其是在需要进行细粒度语义组合的句子中。
6.结论
本文提出了 SignThought，这是一个面向无词汇标注手语翻译的推理驱动框架。该框架引入了跨模态潜在思维（Cross-Modal Latent Thoughts）和潜在思维链（Latent Chain-of-Thought），在不使用词汇标注监督的情况下，连接连续的手语视频与文本生成过程。SignThought 在五个基准数据集上取得了最先进的性能，说明基于潜在思维的推理机制可以成为词汇标注的一种具有可扩展性的替代方案。此外，作者还构建了 LC-HKSLT，这是一个大规模粤语手语翻译数据集，用于支持更加贴近真实场景的评估。未来工作将进一步探索：
- 更强的推理监督；
- 更高效的训练和推理方法；
- 向更多手语语言扩展；
- 向开放世界场景扩展。
Limitation
尽管 SignThought 引入了一条有序的思维链，但本文框架中的“思考”过程仍然是潜在的，而不是显式的。中间思维本质上是连续的隐藏状态，它们只是通过最终的翻译目标间接学习得到，而不是被转换成语言表达、接受外部监督，或者直接以人类能够理解的推理步骤呈现出来。
因此，虽然模型能够从更好的语义规划和视觉证据定位中获益，但这些中间推理过程仍然难以被直接检查、验证或控制。尤其是，作者无法保证每一个潜在思维都对应一个稳定的语义概念，或者对应一个人类能够识别的推理单元。对模型错误的分析目前仍然主要依赖最终翻译结果，而很难直接判断中间某一个思维步骤究竟发生了什么错误。
因此，目前的 SignThought 应被看作是：迈向“具有推理意识的手语翻译”的一步，而不是一个已经能够产生显式、完全可解释推理轨迹的系统。未来一个重要研究方向，是将当前的潜在语义规划与更加显式的推理形式连接起来，例如：
- 文本形式的推理解释；
- 类似词汇标注（gloss）的抽象表示；
- 可控制的语义规划。
附录
实验细节
所有实验均在单张 NVIDIA RTX A6000 GPU 上完成。模型使用 PyTorch 实现，并将手语编码器（Sign Encoder）、潜在 CoT 思考模块（Latent CoT Thinking Module）以及双流解码器（Dual-Stream Decoder）联合进行端到端训练，共训练 200 个 epoch。除非另外说明，编码器、思考模块和解码器统一使用：d=256 作为模型隐藏维度。所有数据集都使用相同的预提取视觉特征，其维度为：dx=1024。这些特征按照此前工作的视觉特征提取流程获得，采用开源的预训练 Inception 网络。手语编码器由：Nenc=2 个堆叠编码层构成。潜在 CoT 思考模块包含：L=2 个思考层，以及：K=8 个可学习思维槽位。解码器采用标准的自回归 Transformer，包含 Ndec=2 层。每一层依次执行：掩码自注意力、思维链交叉注意力、视觉特征交叉注意力、FFN。对于可选的思维引导证据路由，作者会复用思考模块中缓存下来的路由变量，并把它们作为**软偏置（soft bias）**加入解码器的视觉交叉注意力。线性层和 Embedding 层使用 Xavier 初始化。注意力层和 FFN 子层中的 Dropout 为：0.1。所有 Transformer 风格模块均采用 Layer Normalization。优化器采用 Adam：lr=1×10−3，β1=0.9，β2=0.998。Batch Size 为：32，Weight Decay：3×10−3，Label Smoothing：0.1。学习率采用基于验证集平台期（plateau）的调度策略，在调度器正式起作用之前先进行 2000 步 warmup。训练过程中定期在验证集上评估。如果验证指标连续若干次没有提高，则将学习率乘以：0.8，当学习率下降到：1×10−4 以下时停止训练。测试阶段使用 Beam Search。作者在开发集上搜索：b∈[1,10]。其中 b 为 beam size；同时搜索长度惩罚系数：a∈{−1,0,1,2,3,4,5}。最终选择开发集上表现最好的 (b,a)，用于测试集解码。
数学化“引导”机制
附录中给出了很多数学公式，这里只列举整体的逻辑。
视频
→ Inception
→ 1024维帧特征 X
→ Sign Embedding
→ Sign Encoder
→ 256维逐帧证据 E
E
→ 全局平均 z
→ Boundary MLP
→ 软边界 τ
→ Wseg
→ 片段词元 S
思维 C 与 S
→ 相似度
→ Sinkhorn
→ A
→ pk
思维 ck
→ 普通 Cross-Attention(E)
pk 的内容 bias
rk 的时间 bias
→ 从 E 中检索细节
→ 更新思维
→ 最终思维链 C
解码时：
目标词
→ 关注思维得到 α
→ αA
→ αA Wseg
→ w
→ 用 w 引导 Ground Cross-Attention(E)
→ 生成目标词
补充消融实验
- SignThought 的提升是不是单纯因为用了更多计算，而不是因为“逐帧 + 片段”这种多粒度证据设计真的有效？因此保持路由机制和双流解码器不变，只改变提供给模型的证据类型。Frame-only 逐帧特征可以保存细粒度的词汇和动作线索，但是对于较长距离的语义组合能力较弱。Segment-only 片段级表示更加适合高级语义规划，但是会损失精细的视觉细节。Global-only 把整个视频压缩成一个向量，压缩程度最高，因此性能最差。
- SignThought 到底在什么情况下最有用？句子越长，SignThought 的优势越明显。这说明潜在思维链真正发挥作用的场景，是需要：将多个视频证据进行组合；建模较长时间跨度的依赖；先规划整句语义，再寻找局部视觉证据。这与本文提出的 Plan → Ground 思想一致。
- 可解释性定量指标。
- Entropy：思维是不是很“散”，SignThought降低了，说明证据分配明显更加集中；
- MonoViol：思维顺序有没有乱，SignThought降低了，说明后面的思维更加稳定地关注视频中较晚的证据；
- Span：一个思维负责的时间范围有多宽，SignThought降低了，说明每个思维的证据定位更加紧凑；
- TV：注意力是不是碎成很多块，SignThought降低了，说明每个思维更加倾向于形成连续的责任区域。
数据集
Scaling Law
在正文主要受控实验中，作者仅采用一个精心筛选的 30 小时子集的训练数据，一方面是为了和其他数据集匹配做公平比较，一方面是30h的长度易于在单张GPU上运行。作者采集的数据集完整数据达到约 1300 小时。之后作者又另外做了 Scaling Study，证明使用剩余大规模数据还能继续大幅提高性能。
附加定量结果
图 3 是整篇论文验证“思维槽位真的形成了时间上的有序分工”最直观的一张图。
作者在 CSL-Daily 的 5 个样本上画出了：K=8 个潜在思维，与输入视频帧之间的注意力热力图。同时图中还给出了两个指标：选择性熵 H、单调性违反率 viol。作者指出，完整模型中会出现很明显的：接近对角线的、有顺序的条带。这不是说：C1 = 第一个词，C2 = 第二个词。而是说明随着潜在思维链向后推进，其负责的证据区域总体也向视频后方推进。这正好进一步验证了我们之前讨论的：思维槽位首先是“粗到细的语义工作空间”，但通过 Lmono、路由 A 等约束之后，它同时会形成一定的时间前进结构。所以二者不是完全二选一。
去掉单调性损失之后viol 会升高。作者还观察到这种时间顺序混乱并不仅仅让热力图“不好看”，它会真正造成语义错误。
