← 返回首页
🦾 机器人

RoboTALES：推理引导的机器人操作策略学习

RoboTALES: Learning Reasoning-Guided Robot Policies via Task-Aligned Simulated Futures

📅 2026-07-12 🏛️ arXiv ✍️ Hanan Gani, Tejal Kulkarni, Madhoolika Chodavarapu, Nicklas Hansen, Manmohan Chandraker 🏷️ cs.RO, cs.AI, cs.CV ⏱️ 约 10 分钟

📋 摘要 Abstract

RoboTALES框架概览
Figure 1: RoboTALES框架概览。LLM规划器将任务指令（如"制作咖啡"）分解为有序子任务，引导视频生成器为每个里程碑生成未来帧。冻结的VLM评论家对这些想象的未来进行评分，反馈引导视频生成器朝语义对齐的方向发展。最终，目标条件化的特征驱动策略网络产生精确的机器人动作。

预训练视频生成模型是视觉运动控制的有力基础模型，但它们想象的未来往往偏离任务意图，且无法可靠地以动作为条件。为此，本文提出RoboTALES（Learning Reasoning-Guided Robot Policies via Task-Aligned Simulated Futures），一个单阶段框架，学习任务对齐的模拟未来并用其训练机器人策略。

RoboTALES引入两项关键创新：（1）层次化LLM规划器，将复杂任务分解为子目标序列以引导模型的想象；（2）基于VLM的评论家，评估这些想象的未来并通过奖励反馈保持模型内部表示聚焦于目标。通过将视频生成器锚定在抽象推理上，产生时间一致的轨迹和更连贯的动作。在RoboCasa和LIBERO10基准上的评估表明，该方法在长时程任务中显著优于现有方法。

💡 一句话总结

将LLM的任务分解能力和VLM的语义评估能力深度融入视频扩散模型，让机器人先"推理"再"想象"最后"行动"，在长时程操作任务中实现64%的平均成功率（RoboCasa）和97%的成功率（LIBERO10）。

🔍 研究背景 Background

人类很少纯粹被动地行动，而是将目标分解为有序子任务、心理模拟可能的未来、并在拒绝不良结果后才做出行动。这种层次化、目标导向的想象能力对自主智能体仍是重大挑战。现有的视频生成策略学习方法（如VideoPolicy、Gen2Act、ViPRA）虽然展示了视频生成器作为策略学习先验的潜力，但存在根本性局限：

  • 语义漂移问题：视频生成器主要优化视觉真实性，生成的未来帧可能满足低级视觉统计但违反高级任务意图
  • 语言与预测解耦：LLM擅长任务分解，但现有方法将语言推理与世界模型的预测表示解耦——语言影响执行哪个动作，但不直接塑造世界模型内部的想象
  • 缺乏闭环对齐：没有闭环机制确保想象的未来、高级推理和低级动作在语义上保持一致

这些挑战催生了RoboTALES的核心思想：将层次化结构强加于想象过程，并强制模拟未来的语义忠实性，这对想象轨迹可靠地惠及机器人动作生成至关重要。

⚙️ 方法论 Methodology

RoboTALES架构与训练
Figure 2: RoboTALES架构与训练流程。上半部分为训练阶段：规划器将任务指令分解为有序子任务，视频生成器与动作UNet联合训练，VLM评论家提供奖励反馈。下半部分为推理阶段：给定新观测和任务指令，规划器生成子目标计划，适配后的世界模型生成未来状态，训练好的策略输出可执行的机器人动作。

RoboTALES由四个核心组件构成，它们之间的接口设计是论文的核心贡献：

1. LLM规划器（F_P）

使用强大的LLM（Gemini-2.5-Pro）作为高级推理引擎。给定任务指令τ，规划器将其分解为K个语义连贯的子任务C = {c^(1), ..., c^(K)}。例如，"准备西葫芦咖喱的食材"被分解为"清洗、削皮、切西葫芦"、"切洋葱和番茄"等具体指令。K通常取2-5，取决于任务复杂度。

2. 视频生成器（G_θ）

基于预训练的Stable Video Diffusion（SVD）骨干网络。以当前视觉状态s_t和规划器输出为条件，预测短期未来轨迹。关键设计：仅更新交叉注意力模块（接收子目标CLIP嵌入）和部分解码器层，保持预训练视觉先验的同时使模型成为"指令感知"的。

3. VLM评论家（F_R）

冻结的视觉语言模型评估生成的未来轨迹与目标指令的对齐程度，在像素空间产生标量奖励信号。该奖励通过可微分策略优化（DDPO）反馈到视频生成器，强化产生高奖励视觉状态的去噪转换。实验选择SBERT作为主要评论家，因为它在全任务集上产生更高的平均成功率。

4. 动作生成器（π_ϕ）

1D扩散UNet，以初始动作噪声和视频生成器的隐藏状态嵌入为条件，生成连续可执行的动作序列。关键：不使用stop-gradient，动作级别的梯度回传到视频生成器的解码器层，实现"为行动而想象"的联合训练。

联合训练目标

总损失函数融合三个互补目标：

  • 视频扩散损失 L_video：标准噪声预测目标，保证视觉保真度
  • 策略优化损失 L_DDPO：VLM评论家提供的语义对齐奖励
  • 动作扩散损失 L_action：精确控制，梯度回传使视频生成器学会"为行动而想象"

L_total = L_video + β·L_DDPO + γ·L_action，其中β和γ为平衡权重。

📊 关键结果 Key Results

在RoboCasa（24个操作任务）和LIBERO10（10个任务）两个基准上进行了全面评估：

RoboCasa基准（34个任务，每个任务50次rollout）

类别 任务示例 VideoPolicy UVA GR00T RoboTALES (Ours)
拾取放置 PnPCounterToStove 0.16 0.52 0.24 0.54
拾取放置 PnPSinkToCounter 0.38 0.52 0.33 0.56
开门 OpenSingleDoor 0.54 0.78 0.59 0.80
开门 CloseSingleDoor 0.88 0.98 0.83 0.98
抽屉 CloseDrawer 0.72 0.88 0.99 1.0
按键 CoffeePressButton 0.84 0.92 0.85 0.96
平均 0.50 0.575 0.50 0.64

LIBERO10基准（10个任务）

方法 DP-C DP-T OpenVLA π₀ UVA VideoPolicy RoboTALES (Ours)
平均成功率 0.53 0.58 0.54 0.85 0.90 0.94 0.97
定性比较
Figure 3: 任务执行的定性比较。基线模型（上行）在拾取物体后无法维持环境一致性，由于语义漂移导致放置失败（红色×）。RoboTALES（下行）在整个序列中保持结构完整性，成功将物体放入微波炉（绿色✓）。
🏆 核心发现

1. 长时程任务优势显著：在需要时间有序子目标的结构敏感任务（门、抽屉）上改进最大，因为小偏差会累积导致失败。
2. 样本效率高：仅用50个演示就超越了使用300个演示的方法。
3. 鲁棒性强：在观测噪声σ=0.06时，基线方法成功率降至接近零，而RoboTALES仍保持显著更高的成功率。
4. 推理开销极小：规划器仅在推理时使用，每episode增加约1秒开销，可忽略不计。

💡 个人见解 Insights

RoboTALES代表了机器人学习领域一个重要的范式转变：从"看视频学动作"到"先推理、再想象、最后行动"。以下是几个值得深入思考的方面：

  • 优势：推理与感知的深度融合。不同于将LLM作为外部规划器的传统方法，RoboTALES将推理信号直接注入视频生成器的潜在空间。规划器的子目标通过交叉注意力模块条件化扩散模型，VLM评论家的奖励信号通过DDPO微调生成器的内部表示。这种深度耦合让"想象"过程本身就具备了推理能力。
  • 优势：联合训练的协同效应。动作梯度回传到视频生成器，使其学会"为行动而想象"而非仅仅"为视觉真实性而生成"。消融实验证实，联合训练相比阶段式训练在所有任务上都有显著提升。
  • 不足：对LLM规划质量的依赖。规划器使用Gemini-2.5-Pro，如果子目标分解不准确，整个流程会受到连锁影响。虽然论文展示了规划器的有效性，但在更开放、更模糊的真实世界任务中，规划质量可能成为瓶颈。
  • 不足：仿真到真实的差距。所有实验在仿真环境（RoboCasa、LIBERO）中进行，未展示真实机器人部署。视频生成模型在真实环境中的鲁棒性和安全性仍是开放问题。
  • 启发：世界模型的"推理增强"范式。RoboTALES的成功表明，预训练视频生成模型可以通过推理模块的注入来增强其作为世界模型的能力。这一思路可推广到其他领域：自动驾驶的场景想象、工业机器人的任务规划等。
  • 启发：VLM作为通用奖励函数。使用冻结VLM作为评论家提供语义对齐奖励，避免了手工设计奖励函数的困难。这一范式可推广到其他需要语义评估的场景。

🔗 参考资料 References

📄

查看原文 View Original Paper

arXiv: 2607.06018
📥

下载 PDF Download PDF

arXiv PDF
💻

代码仓库 GitHub Repository

github.com/hananshafi/RoboTALES