WEAVER：面向机器人操作的高效世界模型

📋 摘要 Abstract

**Figure 1:** WEAVER框架概览。该世界模型同时满足三大核心需求：高保真度、长时序一致性和高效生成，支持策略评估、策略改进和测试时规划三大下游应用。

世界模型（World Models, WMs）作为学习型模拟器，在机器人领域具有巨大潜力——可用于策略评估、策略改进和测试时规划，且只需最少的真实世界交互。然而，要实现这些下游能力，世界模型需要同时满足三个核心需求：（1）保真度（生成的模拟轨迹与现实高度相关）；（2）一致性（生成的轨迹在长时间范围内保持连贯）；（3）效率（能够快速生成模拟轨迹）。

本文提出WEAVER（World Estimation Across Views for Embodied Reasoning），一种能够同时满足上述三大需求的世界模型架构。WEAVER是一个多视角世界模型，通过流匹配损失（flow-matching loss）训练来预测未来潜在状态和奖励值。作者提炼了模型架构、记忆机制和预测目标方面的关键设计决策，成功解锁了此前世界建模方法难以处理的长时序动态操作任务。

在真实机器人硬件上的实验表明，WEAVER在策略评估方面达到了ρ=0.870的相关系数；在策略改进方面，在π₀.₅机器人基础模型之上提升了38%的真实世界成功率；在测试时规划方面，实现了14%的成功率提升，且速度比此前世界模型快5-10倍。WEAVER在分布外场景中也展现出优于先前世界模型的性能。

💡 一句话总结

WEAVER通过融合流匹配、多视角预测和潜在空间奖励估计，首次在机器人操作世界模型中同时实现高保真度、长时序一致性和高效生成，使真实机器人策略成功率提升38%。

🔍 研究背景 Background

世界模型在自动驾驶、视频游戏和代码生成等领域已得到广泛探索，但在机器人操作领域的应用仍面临独特挑战。操作任务需要处理多视角场景、从历史中推断被遮挡的物体，并确保预测状态的高保真度。

现有方法存在明显的权衡问题：

视频生成模型（如SVD）：保真度高，但推理速度慢，无法满足实时规划需求
JEPA风格模型：潜在状态无法解码为图像，难以评估任意视觉运动策略
Dreamer-v4：从头学习编码器，对分布外输入的鲁棒性较差
Ctrl-World：当前最先进的操作世界模型，但推理速度仍比真实世界慢得多

核心问题在于：没有现有方法能同时满足保真度、一致性和效率三大需求，而这三者对于策略评估、改进和规划的完整流程都至关重要。

⚙️ 方法论 Methodology

WEAVER架构图 — **Figure 2:** WEAVER架构。左侧：世界模型编码记忆、历史和动作序列，在潜在空间中预测未来展开。中间：配备奖励和评论家头的潜在验证器选择高优势样本。右侧：不同动作序列结果对应的解码生成。

WEAVER通过融合多种技术来同时满足三大需求：

1. 多视角相机预测

与许多仅预测单视角的世界模型不同，WEAVER同时预测外部相机和腕部相机的观测。多视角提供的额外信息有助于处理操作过程中的遮挡问题，提升一致性。每个视角使用预训练的Stable Diffusion 3 VAE编码器编码为patch tokens。

2. 本体感知状态预测

除了视觉潜在状态，WEAVER还显式预测机器人的构型（关节角度和夹爪宽度）。这对于接触丰富的可变形物体操作至关重要，因为精确知道手臂位置和夹爪宽度是成功操作的关键。

3. 稀疏记忆与短期历史

为实现长时序一致性，WEAVER条件化于两组观测：长期稀疏记忆（每k个编码观测）和短期历史（最近两帧）。记忆捕获长期上下文，历史捕获动作的短期后果。

4. 流匹配训练目标

采用流匹配损失训练潜在动态模型预测未来潜在状态。结合Diffusion Forcing技术，通过独立采样的噪声级别训练模型以提升长时序一致性。使用SPRINT块积极丢弃patch tokens以提升效率。

5. 推理加速

通过KV缓存减少前向传播成本，使用余弦噪声调度替代线性调度以提升保真度，并通过整流流目标进行后训练以实现少步高质量生成。

6. 潜在空间价值估计

训练轻量级奖励头直接在潜在状态上操作，无需解码图像或调用外部VLM判断模型。同时学习评论家网络估计超出想象范围的价值，支持截断范围的展开。

📊 关键结果 Key Results

实验在5个真实机器人操作任务上进行，包括叠碗、放置袋子、放置标记笔、放置毛巾和倒豆子，涵盖了从刚性物体抓取到可变形物体操作的多种能力。

**Figure 3:** FVD与推理时间对比。WEAVER在不同NFE设置下均帕累托优于Ctrl-World，推理时间最多减少16倍。

世界模型性能：帕累托优于现有方法

在DROID数据集验证集和分布外任务数据上，WEAVER在保真度（FID/FVD）和推理时间两个维度上均帕累托优于Ctrl-World。在16步NFE设置下，WEAVER的外视角FID为10.20（vs Ctrl-World的26.09），推理时间仅4.78秒（vs 14.65秒）。

策略评估：与现实高度相关

WEAVER-FT在策略评估中达到了ρ=0.870的皮尔逊相关系数，能够准确预测长时间范围（40+步迭代评估）的任务结果。定性分析显示，WEAVER-FT能准确预测如"将毛巾放入篮子"和"倒豆子散落"等复杂场景。

**Figure 4:** 策略改进结果。左图：使用合成数据微调π₀.₅策略后成功率显著提升。右图：合成数据规模与性能的关系，更多数据带来持续改进。

策略改进：无需真实交互的38%提升

使用WEAVER生成的合成数据微调π₀.₅策略，平均成功率提升38%。合成数据与真实数据的性能差距仅4%，表明WEAVER生成的数据质量极高。结合真实和合成数据进一步将平均成功率提升11%。合成数据的规模效应也得到验证——更多合成数据带来持续的性能改进。

**Figure 5:** 测试时规划结果。基于优势的选择机制使策略朝成功行为方向优化，平均成功率提升15%，最大提升达20%。

测试时规划：实时可行的规划

采用单块最佳-of-N方法进行测试时规划，使用B=4个并行样本和h=12的想象范围。测试时规划将平均成功率提升15%，最大提升达20%。WEAVER的推理速度比Ctrl-World快约20倍（在RTX A6000 Ada GPU上），使基于世界模型的测试时规划首次在实时操作中变得可行。

🏆 核心发现

WEAVER在机器人操作世界模型中首次同时实现三大目标：保真度（ρ=0.870评估相关性）、一致性（长时序连贯预测）和效率（比Ctrl-World快5-20倍）。最令人印象深刻的是，仅使用合成数据就能将π₀.₅基础模型的成功率提升38%，且合成数据与真实数据的性能差距仅4%，大幅降低了对昂贵真实世界数据收集的依赖。

💡 个人见解 Insights

WEAVER代表了机器人世界模型领域的重要进展，其"融合式"设计哲学值得深入思考。

优势：论文的核心贡献在于系统性地提炼了来自视频生成、潜在世界模型和JEPA等多个社区的关键技术，并将其融合为一个统一框架。这种"站在巨人肩膀上"的方法论比从零开始设计更有效。实验设计扎实，5个真实机器人任务涵盖了从刚性到可变形物体的多种挑战。
不足：当前仅在Franka Panda单臂平台上验证，对双臂协作和移动操作场景的泛化能力未知。测试时规划仍限于单块推理（single action chunk），长时序规划能力受限于生成延迟。奖励模型依赖RoboMeter的噪声标签，可能影响策略改进的质量上限。
启发：WEAVER证明了世界模型可以同时满足看似矛盾的需求（保真度vs效率），这为"世界模型作为机器人基础组件"的愿景提供了有力支持。潜在空间规划（而非图像空间）的思路对降低计算成本具有普遍意义。合成数据与真实数据的4%差距表明，高质量世界模型可能大幅减少机器人学习对真实交互的依赖。

🔗 参考资料 References

📄

查看原文 View Original Paper

arXiv: 2606.13672

📥

下载 PDF Download PDF

arXiv PDF

🌐

项目主页 Project Page

arnavkj1995.github.io/WEAVER