世界价值模型：基于世界模型的机器人操作价值估计

📋 摘要 Abstract

通用价值模型在从大规模、混合质量数据中扩展机器人策略学习方面起着关键作用。准确的价值估计需要深入的时序理解能力——既要求模型基于历史上下文理解当前状态，又要求模型对未来结果进行前瞻性规划。然而，现有的机器人价值模型大多基于视觉-语言模型（VLM）骨干网络，这些VLM主要在静态或时序稀疏的视觉观察上进行预训练，缺乏价值估计所需的时序建模能力。

与VLM不同，世界模型天然擅长时序建模和未来规划，使其成为学习通用价值函数的理想基础。基于这一洞察，本文将世界模型与价值估计相结合，构建了一种新的通用机器人价值模型——世界价值模型（World Value Model, WVM），能够提供准确的任务进度评估以衡量数据质量。在标准基准上，WVM达到了最先进的价值-顺序相关性（VOC）结果。此外，作者还引入了Suboptimal-Value-Bench——一个包含800条次优轨迹、具有高保真人工标注的多形态基准。评估表明WVM在该基准上同样保持SOTA性能，在仿真和真实世界的策略学习中均显著提升了操作性能。

🔍 研究背景 Background

在机器人学习领域，通用价值模型是实现大规模策略学习的核心组件。它们为离线强化学习提供学习信号，也为数据过滤提供质量评估。然而，现有价值模型面临三大瓶颈：

• 标量监督信号稀疏：传统方法使用标量回归进行价值学习，这种稀疏的监督信号导致样本效率低下，且在异构视频数据上的预测脆弱不稳定。
• 任务特异性限制：许多价值模型紧密适配单一任务，无法作为通用进度估计器在多任务间迁移。
• VLM时序建模不足：基于VLM的通用价值继承器（如GVL、VLAC等）使用的表示是为静态或时序稀疏图像优化的，无法捕获密集的时序动态。

与此同时，世界模型在视频生成和机器人操作中展示了强大的时序建模和未来预测能力。它们天然具备通用价值估计器所需的双重能力——历史上下文理解和未来规划。本文的核心洞察是：世界模型中嵌入的时空先验可以被重新用作价值学习的强大基础。

⚙️ 方法论 Methodology

问题建模

WVM将价值估计建模为块级预测问题。给定h帧观察序列和语言指令，价值模型定义一个长度为h的逐帧价值序列的条件分布。每个价值vt = t/T表示归一化的任务进度（T为轨迹总长度）。建模完整的h帧块而非孤立标量，使模型能够捕获局部进度特征（如平台期和回退）。

WVM架构

WVM由三个核心组件构成：

• 视频流（Video Stream）：基于Wan2.2的视频VAE和视频DiT（约50亿参数）。对于锚定在时间窗口[t-h+1, t]的价值块，输入由1帧前缀、h帧当前观察和h帧未来目标组成。VAE将视频编码为时空潜在表示，视频DiT对潜在表示进行去噪。
• 价值流（Value Stream）：轻量级DiT（约0.7B参数），从噪声价值token预测价值块，通过MoT多模态自注意力机制关注视频DiT的中间特征。采用非对称注意力掩码——价值token可以关注视频token，但视频token不关注价值token，确保视频生成能力不受干扰。
• Flow Matching训练：价值函数被公式化为分布式价值块，使用Flow Matching进行训练。与传统标量监督和分类分布相比，Flow Matching提供了更密集的训练信号和更强的表达能力。

关键训练技术

• 前缀随机化（Prefix Randomization）：以概率p将前缀价值替换为[0,1]区间内的随机标量，防止价值流从前缀中走捷径外推，同时保持块间连续性。p=0.5达到最优平衡。
• 视频倒带（Video Rewinding）：对每个窗口采样三种时序模式之一——上升、平台或下降——通过保留、重复或反转帧来实现，相应重新标注价值。这使价值流暴露于与平滑推进、犹豫和重试相关的局部进度特征。
• 视频联合训练：同时优化视频生成损失和价值预测损失（L = L_value + λ·L_video），实验证明显式视频联合训练对于捕获底层时序动态不可或缺。

Suboptimal-Value-Bench

现有评估基准仅包含专家数据，无法全面评估价值模型在次优行为上的表现。Suboptimal-Value-Bench填补了这一空白：

• 犹豫检测（Hesitation）：机器人停滞或执行与任务无关的微动作，任务进度不变。使用Hesitation-RMSE指标评估——完美预测误差为0。
• 重试检测（Retry）：抓取失败后释放并回撤，导致价值下降。使用Retry-VOC指标——完美追踪单调下降趋势得分为+1。

📊 关键结果 Key Results

次优行为价值估计

在Suboptimal-Value-Bench上，WVM全面超越6个竞争基线：

专家轨迹VOC

在标准专家VOC基准上，WVM同样领先，平均VOC达到0.95（最强基线为0.88），在OXE、RoboCOIN、自采数据等5/6个数据集上排名第一。

下游策略学习

使用π0.5-base作为基础策略，仅使用次优数据（仿真10条/任务，真实50条/任务）进行微调。WVM引导的三种策略提取方式（AWR、Filtered BC（Adv>0）、Filtered BC（Top 70%））在所有任务上均一致超越vanilla BC基线。

消融实验

关键消融发现：

• 视频联合训练不可或缺：去掉L_video导致Hesitation-RMSE从0.05升至0.08，Retry-VOC从0.78降至0.68。冻结视频权重性能下降最严重（RMSE=0.12, VOC=0.45）。
• 前缀随机化平衡连续性与鲁棒性：p=0时Expert-VOC虚高（0.98）但次优检测严重退化；p=1时重试检测恢复但Expert-VOC下降。p=0.5达到最优平衡。
• Flow Matching优于分类价值头：替换为HL-Gaussian价值头后所有指标均下降，验证了连续密度估计对序数指标的重要性。

💡 个人见解 Insights

WVM代表了机器人价值估计领域的一个重要范式转变——从VLM骨干转向世界模型骨干。这项工作的意义不仅在于性能提升，更在于它揭示了一个深层洞察：价值估计本质上是一个时序推理任务，而世界模型天然具备这种能力。

• 核心创新：MoT架构设计非常优雅——非对称注意力掩码确保视频生成能力不受价值预测干扰，同时价值流可以充分吸收视频流的时空表示。这种"搭便车"式的设计思路值得在其他领域借鉴。
• 数据效率：仅使用10条（仿真）或50条（真实）次优轨迹进行策略微调就能显著提升性能，说明高质量价值信号可以极大提高数据利用效率。这对数据稀缺的机器人学习场景意义重大。
• 基准贡献：Suboptimal-Value-Bench填补了重要空白。犹豫和重试是真实机器人部署中最常见的次优行为，但此前缺乏标准化评估。人工标注+VLM辅助的两阶段标注流程也很实用。
• 不足之处：训练规模受限（32×A100约40小时），零样本泛化能力有限；基准仅覆盖抓取-放置任务，缺乏灵巧操作和长时程任务。此外，基于Wan2.2的架构意味着推理成本较高。
• 启发：世界模型作为通用"基础表示"的潜力远未被充分挖掘。除了价值估计，这种时空先验可能对奖励塑形、安全约束、任务规划等多个子领域都有价值。期待看到更多将世界模型与下游任务结合的工作。

🔗 参考资料 References