26年6月来自中科院信息工程所、中科院大学和京东集团的论文“Harnessing Streaming Video in the Wild”。
在视频通话助手、实时解说和具身智能机器人等应用场景中，视觉-语言模型（VLM）日益需要处理无边界的视频流。理想的流处理系统应具备主动交互、长时记忆和实时处理能力，并依托能够应对各种真实世界流式任务的 VLM 骨干网络。然而，现有的 VLM 虽然擅长离线视频理解，但在流处理能力上存在不足，且缺乏专门用于流部署的基础设施。本文从以下三个方面弥补这一空白：
- (i) 在骨干网络能力方面，构建 Streaming-Train-248K 数据集，并配合一种新训练目标，旨在使 VLM 适应流交互与理解任务。
- (ii) 在实际部署方面推出流驾驭（Streaming Harness），这是一个即插即用的系统，赋予任意 VLM 三项核心能力：主动交互（秒级响应决策）、长时记忆（12 小时上下文保留）和实时处理（亚秒级延迟）。
- (iii) 为了推动社区在真实流处理能力方面的发展，设计 Streaming-Eval 基准测试，用于评估模型在各种真实世界场景下的能力。大量实验表明，该系统在上述四项流式处理能力上均实现持续的性能提升。
如图1所示：左上：StreamingHarness 结合主动交互、长时程记忆和实时推理能力——这是此前任何基准测试都无法同时具备的特性。左下：StreamingHarness 概览。右上：Streaming-Eval 与现有基准测试的对比概览。右下：与单轮离线基准测试不同，Streaming-Eval 评估六项“野外”环境下的能力（主动性、及时性、上下文、面向未来、关注当下、回顾过去）。
将流处理场景表述如下：视频按时间片段序列 V = {v_1, v_2, …, v_T} 依次呈现，其中每个片段 v_t 覆盖一个短暂的固定时长（例如一秒），并由格式为 <t_s-(t+1)s> 的时间戳标记 τ_t 标识。用户可在时间轴上的稀疏时刻发出文本查询；用 q_t 表示在步骤 t 接收的查询，若无查询则 q_t = ∅。在每个步骤中，模型输出动作 a_t：(i) 当积累的证据足以回答待处理查询或描述显著事件时，输出明确的回答 ；(ii) 否则，输出静默标记 。这种表述方式有助于生成具有时间定位依据的响应，抑制过早预测，并减少幻觉输出。因此，每个步骤构成一个交互单元 u_t = (τ_t, v_t, q_t, a_t)，对话历史为 H_t-1 = (u_1, u_2, …, u_t-})。基于该历史，步骤 t 的响应生成为 a_t = f_θ(H_t-1, τ_t, v_t, q_t)。与预处理完整视频的离线视频理解不同，流视频理解无法获取后续片段 {v_t+1, …, v_T}，必须基于已观测的帧按因果顺序进行响应。通过这种多轮在线交互，模型决定在每个步骤 t 是否进行发言。
为了适配这一推理阶段的调度机制，通过在训练过程中交替使用视觉和文本 Token，训练一个支持主动交互的流原生 VLM（Streaming-Native VLM），并构建一个包含多样化主动感知场景、规模达 24.8 万条数据的数据集。
1 数据统计
整合多个开源视频数据集作为数据源，包括 EpicKitchens [8]、YouCook2 [68]、Ego4D [14]、EgoBlind [50]、EgoExo4D [15]、EgoExoLearn [20]、DiDeMo [18]、Charades [37]、OmniStar [57]、QVHighlights [29]、ActivityNet [17]、Shot2Story [16]、Assembly101 [35]、HoloAssist [42]、WTaG [3]、MovieChat [38]、QueryD [31] 和 LiveWhisperX [7]。为了将原始数据集转换为标准的“多轮在线交互”格式，执行逐秒的帧-文本对齐操作：将每个一秒钟的片段与明确的响应或“静默token”配对，并标注时间戳（例如 <0s-1s>）。此外，对数据源进行审查，剔除标注不明确的数据源。最终共获得 248,000 个样本，涵盖日常生活、工作与生产力、知识与学习以及户外与休闲等多种现实世界场景。
2 任务分类体系
图2展示任务分类体系的概览。第一类任务是“叙述”（narration），要求模型持续监测输入的视频流，并针对显著事件生成连贯的描述。基于密集的时间标注和自动语音识别（ASR）转录文本构建该任务。模型并非为每一帧生成字幕，而是在此类事件发生时才输出描述。第二类任务是“问答”（question answering），要求模型根据观测的视频帧有选择地做出回答。根据答案是否随观测内容变化对问答任务进行分类：（1）答案不变型（Answer-invariant），即一对一的问答映射；以及（2）答案可变型（Answer-variant），该类进一步细分为（2.1）客观事实变化型（即一对多映射）和（2.2）问题变化型（即多对多映射）。问题变化型又细分为问题间存在依赖关系和问题间不存在依赖关系。此外，从另一维度来看，作为依据的视频帧相对于查询时刻而言，可能位于过去、当前或未来。
3 训练目标
在流处理场景中，“静默片段”（silence runs）出现的频率远高于“响应片段”，导致针对助手输出位置的token分布严重偏向 </silence>。在标准的监督微调过程中，这种不平衡会使梯度更新偏向于强化持续静默状态，而非从静默向响应的转换，从而削弱响应信号。为解决这一问题，根据token的角色为其分配不同的权重。设 A 为监督学习中助手-token位置的集合，设 C = {c_i} ⊆ A 为控制-token位置的有序子序列，其中 y_c_i ∈ {</silence>, </response>}。所谓“静默片段”，是指 C 中由 </silence> token构成的最大连续子序列。
训练目标根据有监督位置的数量进行归一化。
尽管训练的“流-原生”VLM（Streaming-Native VLM）已具备适时输出 </silence> 和 </response> token的能力，但在开放式流媒体场景中部署该模型时，会暴露出另一类挑战——这些挑战并非源于模型自身的能力局限，而是源于推理流水线本身。现实世界中的流媒体时长往往长达数小时，远超训练片段通常仅有的几分钟时长；这就要求系统具备一种记忆机制，其占用空间不会随流媒体时长的增加而无限膨胀。此外，为了保持输入帧与输出文本的同步，每个处理步骤都必须在亚秒级的时间限制内完成，从而确保主动交互所需的系统响应速度。
一种直接的解决方案是利用滑动窗口机制来维护 KV -缓存 [36, 54]；另一种互补的研究路径则通过剪枝冗余 Token 来抑制缓存增长 [60]。尽管这两种策略都能有效缓解记忆开销，但它们均不支持 KV 缓存的复用，因此无法直接结合现代推理引擎中广泛采用的前缀-缓存（prefix-caching）优化技术 [24]。
为了应对上述挑战并实现主动交互，推出 StreamingHarness——这是一个专为现实世界流媒体视频应用打造的即插即用型推理框架。StreamingHarness 支持对流媒体视频进行无限时长的推理，能够在严格的实时延迟约束下维持长达数小时的内存数据。其整体架构如图3所示。具体而言，StreamingHarness 包含三个核心组件：三层记忆管理、前缀感知型 KV 缓存以及事件驱动的响应触发机制。
1 三层记忆管理
为了在有限的记忆预算内处理长达数小时的视频流，将上下文组织为三层层级结构。如图3所示，视频流被划分为：(i) 短期记忆，保留最近 T_s 秒的原始视觉 Token；(ii) 中期记忆，存储最多M个过往短期片段的文本摘要，涵盖 T_m = M * T_s 秒的时长，并采用适度压缩；以及 (iii) 长期记忆，存储最多 L 个经过高强度压缩的块，每个块由 M 个连续的中期摘要整合而成，从而覆盖 T_l = L * M * T_s 秒的时长。
具体而言，每当短期缓冲区填满时，其中的片段便会通过中期记忆智体进行处理：该智体将 T_s 秒的帧浓缩为紧凑的文本摘要，忠实地捕捉逐帧语义、显著细节以及物体与场景状态的时间演变，从而以极低的代价将视觉 Token 转换为文本 Token。一旦积累 M 个此类摘要，长期记忆智体便会将它们整合为一个单一的块；整合过程包括合并重叠内容、去除冗余信息，并将具有因果关系的事件组织成连贯的时间线。长期记忆层最多容纳 L 个块，并采用先进先出（FIFO）策略进行淘汰；两个智体均在每个片段边界到来前异步运行，从而完全掩盖主线推理之后的处理延迟。因此，内存覆盖的总时长上限为 T_s + T_m + T_l = T_s(1 + M + LM)$；在默认配置下（T_s = 200 秒，M=5，L=42），该时长可达约12小时，足以满足绝大多数现实世界视频流的需求。
2 前缀-觉察的 KV 缓存（Prefix-aware KV Cache）
尽管三层层级结构已经缩短上下文长度，但在每一步的预填充（prefill）阶段重计算整个 KV 缓存仍会超出亚秒级延迟的限制。现代推理引擎 [24, 66] 利用前缀-缓存（prefix caching）技术加速预填充阶段：即缓存先前对话轮次的 KV 状态，并在后续请求共享相同前缀时直接复用。StreamingHarness 正是基于这一原理设计的。
如图 4 所示，StreamingHarness 指导引擎在每个数据块（chunk）开始时对“记忆文本”（Memory Text）执行一次性预填充，将其转换为相应的 KV 缓存。在随后的每一步中，系统会追加新的帧和之前的响应，仅需计算这些新增内容的 KV 条目；而所有先前缓存的 KV 状态（包括记忆文本及该数据块内更早轮次的内容）均可直接复用，无需重新计算。这种设计大幅降低每一步的首个 Token 生成时间（TTFT），使 StreamingHarness 能够实现近乎即时的响应。
3 事件驱动的响应触发
提出一种无需训练的适配方案，使原本不具备原生主动交互能力的基座模型能够适应主动交互任务。在每一步中，模型基于当前帧、当前数据块的对话上下文、过往视频历史以及过往问答历史进行处理。针对主动查询（active query），模型会对上述证据进行判断：若尚无新的有效信息（例如关键事件尚未发生或场景仍处于转换中），模型将保持静默并推迟至下一帧处理；反之，若有有效信息，模型则生成简洁的响应，且该响应严格基于可见证据，绝不捏造未见过的实体或事实。该流程构成一个包含四个阶段的流式推理循环：查询触发、逐帧判断、及时响应以及恢复监控。
为了推动社区在实时流媒体处理能力方面的发展，推出 Streaming-Eval。这是一个专为“野外”（in-the-wild）流媒体视频场景设计的基准测试，旨在同时评估回答的准确性和响应的及时性。
1 基准构建
图 5 展示 Streaming-Eval 的三阶段构建流程：视频收集、任务制定和问答（QA）生成。(i) 视频收集。汇集了来自 PhoStream [28]、Video-MMMU [19]、Ego4D [14]、THUMOS [22]、HiREST [62]、MLVU [67]、RTV-Bench [55] 和 OVO-Bench [30] 的 138 段视频，涵盖 15 个日常类别，并在短（0–4 分钟）、中（4–8 分钟）和长（8 分钟以上）视频片段之间保持了均衡分布。(ii) 任务制定。为了系统地评估流媒体视频理解能力，采用与训练数据相同的任务分类体系（如图 2 所示）。每种任务类型均基于精心设计的模板构建，该模板将一种流媒体交互模式（主动式、准时式或情境式）与一种流媒体理解模式（回顾式、当前式或前瞻式）相结合，从而全面覆盖各种流媒体交互模式。(iii) 问答生成。问答内容由受结构化“技能”（Skill）引导的智体系统生成，并使用 GPT-5.4 和 Claude Opus 4.6 作为标注模型。随后，每个问答对都会经过视觉-语言模型（VLM）检查器的筛选，并由人工标注员从问题清晰度、回答准确性和响应时间三个维度进行核查。
2 评估指标
针对解说任务，从 LiveSports3K-CC 基准测试集 [7] 中抽取了 100 个样本。对于每个样本，将候选解说转换为格式为 [t s] 话语内容 的带时间戳转录文本（其中 t 表示话语发出的时间），并提示 Claude Sonnet 4.6 将两个候选结果与作为“金标准”的自动语音识别（ASR）转录文本进行比较。评估模型依据两个权重相等的标准进行评判：解说风格（节奏与语调）以及与参考文本的一致性。为消除位置偏差，会交换候选结果的顺序对每组进行两次评估，并报告基于总计 2N 次投票计算出的胜率。
针对问答任务，采用基于规则的评估方案。每个问题都标注有一个金标准答案时间窗口 W。若预测结果出现在 W 范围内且与金标准完全匹配，则视为真阳性（TP）；若非静音预测结果出现在 W 范围之外，则视为假阳性（FP）；若 W 范围内没有有效的预测结果，则视为假阴性（FN）。为了在流式处理场景下综合评估正确性与时效性，同时将答案正确性作为首要考量，采用流式加权 F1（SW-F1）指标，该指标赋予 TP 和 FN 更高的权重。
与仅统计“真阳性”（TP）的准确率类指标相比，FP（假阳性）项会对那种为了提高 TP 而在每一步都给出回答的“总是响应”行为进行惩罚；与常规 F1 分数相比，较低的 FP 权重更侧重于回答的正确性，从而避免了过度惩罚。
实验设置
训练。在 Streaming-Train-248K 数据集上基于 Qwen3-VL-8B-Instruct [2] 继续进行训练，学习率设为 1×10⁻⁵。在微调过程中，视觉编码器保持冻结，而连接器（connector）和 LLM 则进行全参数更新。每段训练视频以 1 FPS 的帧率采样，单帧最大像素数限制为 131,072，最大上下文长度设为 48K token。关于公式 1 中的 token 权重，设定 wfirst_silence = 1、wrepeated_slience = 0.8 以及 w_response = 1.5。整个训练过程共消耗约 4,096 H200 GPU 小时。
基线模型。本研究评估两类基线模型：(1) 顶尖闭源模型，包括 Claude Opus 4.6 Thinking、GPT 5.4 (High)、Gemini 3.1 Pro (High) 和 Doubao Seed 2.0 Pro；(2) 开源模型，包括 Qwen3-VL-8B、Qwen3-VL-32B 和 Qwen3.5-9B。
推理。所有基线方法均以 1 FPS 的帧率处理视频，且每帧的最大像素数限制为 262,144。针对三层记忆管理机制，对于开源模型，采用默认配置：Ts = 200 秒、M = 5、L = 42；对于闭源模型，受限于 API 调用频率限制，将配置调整为 Ts = 10 秒、M = 4、L = 8。其中，中期记忆智体（mid-term memory agent）的限制为每帧输入 262,144 像素及输出 4,000 个 token，而长期记忆智体（long-term memory agent）的限制为输出 2,000 个 token。
