ω-EVA：基于潜交互世界模型的构想、验证与动作

26年6月来自星源智（XYZ Embodied AI）的论文“ω-EVA: Envision, Verify, and Act with Latent Interactive World Models”。

具身策略通常将当前观测直接映射为动作，使得候选动作的后果处于隐状态。尽管世界模型能提供预测性监督、表征或外部仿真，但往往不允许策略在执行动作前审视其自身提议可能带来的后果。本文提出 ω-EVA，这是一种隐空间交互世界模型，实现用于具身动作生成的“构想-验证-动作”（Envision–Verify–Act）循环。其三阶段框架包括：学习受动作条件约束的隐空间动力学；基于感知动力学的视觉表征训练受语言条件约束的流策略（flow policy）；以及将策略生成的提议反馈回世界模型。一个三分支精炼模块综合考量当前状态、受提议约束的未来状态以及拟议动作，从而输出最终的动作片段。由于后果推理在隐特征空间内进行，ω-EVA 避免在推理阶段生成未来视频。

在单臂、双臂、长时程及受扰动等多种仿真场景下的评估表明，这一完整的交互流程能持续优化提议策略，同时隐空间诊断结果也揭示有意义的、受动作条件约束的未来状态结构。ω-EVA 拥有约 12 亿参数，且无需额外的机器人数据预训练，在性能、规模与数据需求之间实现紧凑且极具竞争力的平衡，从而使世界模型从被动的预测器转变为主动的动作反馈模块。

如图1 所示ω-EVA 概览。左侧展示“设想-验证-动作”（Envision–Verify–Act）交互循环：具备环境感知能力的动作生成器提出一个动作，基于该动作的潜世界模型设想其后果，而“想象-交互”精修模块则在执行前对该动作建议进行修正。右侧详细展示在阶段 1 – 3 中学习的三个模块。

ω-EVA概述

ω-EVA，是一个连接动作生成与潜后果预测的闭环交互系统。给定当前的视觉特征I_c和语言token T_e，提议策略π_φ 首先基于融合动力学信息的当前表征c_t，生成初始动作片段aˆ0_t:t+H。随后，世界模型W_θ 依据该提议预测其未来的视觉后果Iˆ_f。最后，精炼器R_ψ 综合考量c_t、Iˆ_f 和 aˆ0_ t:t+H，生成精炼后的动作aˆ_t:t+H。由此，世界模型通过两种互补的方式支持动作生成：一是提供包含动力学特征的观测状态表征，二是提供当前待执行动作的明确预期后果。

ω-EVA分三个阶段构建实现该循环所需的能力。

第一阶段通过预测不同时间跨度下的未来视觉特征，学习受动作条件约束的潜在动力学模型W_θ。该模型在进行未来预测的同时，还能生成表征c_t；该表征既保留当前观测信息，又编码与动力学相关的视觉结构。

第二阶段基于c_t和T_e学习受语言条件约束的提议策略π_φ，从而构建出一个能够利用已学习动力学表征信息的初始动作生成器。

第三阶段固定W_θ和π_φ的参数，将生成的提议反馈给世界模型，并训练精炼器R_ψ 根据模型预想的潜在后果对提议进行修正。综上所述，前两个阶段确立预测模型与提议策略，而第三阶段则将二者连接起来，形成“构想-验证-行动”（Envision–Verify–Act）的交互循环。

训练阶段 3 采用与推理阶段相同的数据流，即“提议—想象—精炼”的过程。在部署阶段，系统直接执行精炼后的动作，而无需将 Iˆ 解码为像素；在获取下一次观测后，整个流程会再次重复。这种方式既保留测试阶段显式的后果推理能力，又将想象过程限制在紧凑的潜空间内。算法 1 总结优化方案：

阶段 1：动作条件下的潜世界模型

阶段 1 旨在学习动作条件下的潜世界模型 W_theta。该模型根据当前的观测信息和动作序列前缀，预测相应未来观测的视觉特征。与此同时（且同样重要的是），该模型还会生成包含动态信息的当前状态表征 c_t，供阶段 2 的策略模块使用。其核心洞察在于：若模型被迫预测物体与场景在动作影响下将如何演变，它就必须学会关注与运动相关的视觉模式——例如物体边界、接触点以及与任务相关的空间关系——而这些模式会自然地融入到 c_t 之中。因此，该设计将两种互补的输出区分开来：一是依赖于动作的未来结果 Iˆ_f，二是受未来预测目标塑造、但不依赖于具体动作的当前状态表征 c_t。

与其总是预测固定的终止观测值，阶段 1 采取联合变化动作前缀及其未来目标的方式。

截断后的动作片段保留前 n 个动作；其余位置被设定为一种静止状态，其具体形式取决于动作空间。对于表示相对位移的增量式动作（delta actions），零值代表无位移；对于绝对关节空间动作，则将最后一个有效位姿 a_t+n-1 复制到剩余位置，从而使机器人在截断点之后保持其构型。若将所得数据块记为 a⁽ⁿ⁾_t:t+H，则其预测目标与相同的时间跨度（horizo​​n）保持同步。

这种“截断”与“目标偏移”相结合的策略，使世界模型能够接触到不同时间跨度下的后果，从而避免将每个动作输入简单地与单一固定的未来帧关联起来。具体而言，这种增强手段迫使模型根据部分观测的动作序列来预测未来的视觉状态，并推断被截断的动作能将场景演化推进多远。因此，模型无法将完整的动作片段作为捷径，而必须建立对“动作条件下的动态变化”更稳健的理解；这反过来又提升预测的未来特征 Iˆ 和当前潜表征 c 的质量。

因果多模态注意机制。该模型针对未来查询token Q_l、当前视觉token C_l 和动作token A_l 应用 L 个多模态注意模块。这三个分支各自拥有独立的 QKV 投影、输出投影和前馈网络，但在计算注意时，则是基于它们拼接后的键（Key）和值（Value）进行的。信息的流动由模块可见性掩码（block visibility mask）进行控制。

因此，未来的查询（future queries）会关注所有分支，以将观测的场景与动作前缀相结合；当前状态的 Token 仅关注自身；而动作 Token 则关注当前状态分支和动作分支。

受限的“当前状态”分支阻止动作信息和“未来查询”信息进入 C^l，因此其最终输出与候选动作无关。然而，由于“未来查询”分支利用 C^l 作为预测上下文，来自未来预测任务的梯度会训练该分支，使其提取出对“基于动作的动力学”有用的视觉信息。因此，将最终经由动力学塑造的当前表征定义为 c_t = C^L。

潜未来预测。一个线性预测头 P_f 将最终的未来查询（future-query）Token 映射回冻结的 DINOv3 特征空间。特征预测 Iˆ_f 随后被用作动作提议的预期后果，而 c_t 则为阶段 2 的动作生成提供与动作无关的视觉条件。

阶段 2：世界-觉察动作生成器

如图 2 所示，阶段 2 将潜世界模型与语言条件流策略 π_φ 相结合。其作用是将阶段 1 中学习的、由动力学特性塑造的当前表征 c_t 转化为初始动作建议。与阶段 1 不同，阶段 2 使用完整的专家动作片段（必要时在片段末尾进行填充），而非随机截取的前缀。将该片段输入 W_θ 可得到 c_t，同时冻结的 T5 编码器 [Raffel et al., 2020] 生成指令 Token，这些 Token 经由一个可学习的投影层映射至模型维度。

世界模型特征与语言特征保持为独立的条件序列，并通过各自独立的交叉注意模块进行访问。基于流匹配（Flow-matching）的动作查询。将动作生成建模为条件流匹配问题 [Lipman et al., 2022]。

时间条件查询 Transformer。流的时间步（timestep）先经由正弦特征编码，再通过多层感知机（MLP）处理，从而生成 e_τ。该策略应用于一个Query Transformer块序列。

语言交叉注意机制使用文本填充掩码。通过自适应层归一化，将流时间条件注入到自注意机制和前馈网络中：e_τ 预测两种变换的尺度、平移和残差门控参数。最终的动作token通过线性头映射到速度场。

联合训练目标。联合优化提议策略（proposal policy）和潜世界模型。世界模型项既保留未来预测的监督信号，又允许潜状态 c_t 适应动作生成。该实现也支持在第一阶段结束后冻结 W_theta；在此设置下，仅优化策略 pi_phi，且省略世界模型项。

初始提议生成。在推理阶段，策略首先利用“dummy零-动作”输入从 W_theta 中提取 c_t——这得益于模型中与动作无关的当前状态分支设计。生成过程从 tau_S = 1 时的高斯动作噪声 x_tau_S ～ N(0, I) 开始，遵循一个递减且针对序列长度进行偏移的调度方案，最终演进至 tau_0 = 0；其中 S 为积分步数。

终端样本，定义阶段 2的提议，其随后在阶段 3的潜世界模型做评估。

阶段 3：基于“想象交互”的动作精炼器

阶段 3 是核心步骤，旨在将阶段 1 和 阶段 2 中习得的预测与动作生成能力转化为一种交互式世界模型策略。在此阶段之前，世界模型主要为动作生成提供未来监督信号及由动力学特性塑造的表征。阶段 3 引入此前缺失的反馈路径：策略生成的动作提议被反馈给世界模型，并利用该提案所引发的“想象”后果来生成最终动作。因此，世界模型不再仅仅充当训练目标或视觉骨干网络，而是直接参与到单次控制决策过程中。
基于提议条件的想象。固定世界模型 W_theta 和提案策略 pi_phi，仅训练精炼器 R_psi。给定上下文信息 I_c 和目标信息 T_e，处于固定状态的阶段 2 流水线首先在输入“dummy零-动作”的情况下提取当前表征，并通过流积分（flow integration）生成初始提议。随后，将该提议（proposal）输入冻结的世界模型，以获取其基于动作条件的潜后果。

三-分支交互精炼器（Tri-branch interaction refiner）。该精炼器接收三组对齐的 token。这些分支提供进行“后果-觉察校正”所需的三个量：C⁰ 表示当前观测的状态，F⁰ 表示预测由提议动作引发的结果，U⁰ 表示当前正在考虑的动作。

精炼器应用 L_r 个三-分支多模态注意模块。每个分支拥有独立的 QKV 投影、输出投影和前馈网络，而注意计算则是在拼接后的当前、未来和提议 token 上联合进行的。与阶段 1 中结构化的可见性掩码不同，阶段 3 不使用注意掩码，从而允许三个分支之间进行交互。

这种全交互机制使得每个提议 token 能够将其预期的运动与当前场景及预测结果进行比较。阶段 3 既不引入光流时间步（flow timestep）或自适应层归一化（adaptive layer normalization），也不执行第二次去噪过程。一个线性动作头（linear action head）将最终的提议分支直接映射为精炼后的动作。

因此，精炼器不预测显式的验证分数或残差偏移量。在“构想-验证-行动”（Envision–Verify–Act）框架中，“验证”指的是利用想象出的后果来评估并直接重写提议动作。

精炼监督。阶段 3 不接收真值（ground-truth）的未来观测作为输入。其未来反馈完全由冻结的世界模型根据策略自身的提议生成，这与部署时可获取的信息相一致。仅对精炼后的动作进行监督。针对每个动作步骤使用有效性掩码 m_h {0, 1}，最小化有效动作元素上的平均绝对误差。该目标函数训练 R_psi 学习在考虑预测后果时应如何调整提议。由此，阶段 3 闭合“提议-想象-精炼”的循环：世界模型在策略内部转变为一个以提议为条件的动作反馈模块，这正是 ω-EVA 潜交互式世界模型范式的核心机制。

推理：设想-验证-行动

在部署阶段，ω-EVA 在提交动作块之前执行一次设想-验证-行动交互。给定当前观测值 o_t 和指令 l，冻结的视觉编码器和语言编码器首先生成 I_c = E_v(o_t) 和 T_e = E_l(l)。然后，使用dummy零-动作输入评估世界模型，以提取与动作无关的当前表示。

在 (c_t, T_e) 的条件下，提议策略在 τ_S = 1 处初始化 x_τ_S ∼ N(0,I)，并沿递减的移位调度 τ_S > · · · > τ_0 = 0 对其学习的速度场进行积分。终端样本 aˆ0_t:t+H = x_tau_0 是世界模型所考量的动作。

“构想与验证”（Envision and verify）。ω-EVA 将这一特定动作提议反馈给已冻结的世界模型，以预测其潜后果；随后，精炼器（refiner）利用该后果作为动作反馈。在此过程中，“验证”指的是一种基于后果-觉察的单步精炼操作，而非奖励评估、显式验证评分或多步规划。系统既不观测真实的未来，也不将 Iˆ_f 解码为未来的视频；所有关于后果的推理均在潜特征空间内进行。

后退-范围执行（Receding-horizo​​n execution）。精炼完成后，机器人执行动作序列 aˆ_t:t+H 中的前 K 个动作（其中 K ≤ H），接收新的观测 o_t+K，并重复整个交互过程。当 K=1 时，系统实现逐步闭环控制；当 K>1 时，系统在两次重规划之间执行动作块（action-chunk）。执行的前缀部分由部署协议决定，而非由模型固定。算法 2 总结这一部署循环。

因此，ω-EVA 在无需调用独立的像素级模拟器的情况下，保留推理阶段（test-time）显式的后果推理能力：世界模型在每次控制决策中充当一个以动作提议为条件的内部反馈模块。