世界动作模型实现持续模仿学习

📋 摘要 Abstract

世界动作模型（World Action Models, WAMs）不仅能预测机器人动作，还能生成未来的视觉观测。本文基于这一生成能力提出了循环生成回放（Recurrent Generative Replay, ReGen）框架，这是一个持续模仿学习框架，通过合成伪回放轨迹，使机器人策略能够在不存储原始人类演示的情况下复现先前学习的任务。

在持续适应过程中，ReGen递归地查询WAM，仅基于先前任务的指令和当前任务的观测来合成伪回放轨迹。在仿真和真实世界操作环境中的实验表明，ReGen相对于顺序微调可将灾难性遗忘减少高达50%，同时接近需要访问真实回放数据的特权经验回放方法的性能。

🔍 研究背景 Background

持续学习是机器人部署在真实世界中的核心挑战。机器人需要不断适应新任务，同时保持对先前学习技能的记忆。然而，深度神经网络在顺序学习新任务时会遭受灾难性遗忘（catastrophic forgetting）——学习新任务会覆盖先前任务的知识。

现有的持续学习方法主要依赖经验回放（Experience Replay），即存储并重放先前任务的演示数据。然而，这种方法存在根本性限制：

• 数据存储成本：需要存储大量历史演示数据，随着任务数量增加，存储需求线性增长
• 数据可用性问题：现代机器人学习范式越来越多地使用预训练基础模型，这些模型通常在大规模私有数据集上训练，原始演示数据很少公开发布
• 隐私和安全考虑：某些应用场景可能不适合长期存储原始演示数据

世界动作模型（WAMs）的出现为解决这一问题提供了新思路。WAMs通过统一架构联合预测动作和未来视觉观测，这使得它们具备了生成能力——可以基于语言指令和当前观测合成伪轨迹。ReGen正是利用这一特性来实现无需存储历史演示的持续学习。

⚙️ 方法论 Methodology

ReGen的核心思想是将WAM的生成能力作为持续学习的原生回放机制。具体来说，当机器人需要学习新任务时，ReGen会：

1. 问题形式化

• 给定一个预训练的WAM策略 πθ₀，它已经在先前任务集 T_prev = {T₁, T₂, ..., T_M} 上训练
• 目标是将 πθ₀ 适应到新任务 T_k（k > M），同时保持在所有先前任务上的性能
• 对于每个先前任务 T_i，仅能访问其语言指令 ℓ_i，无法访问原始演示数据

2. 循环生成回放

ReGen的关键创新在于其递归生成策略：

• 条件生成：对于每个先前任务 T_i，ReGen使用其语言指令 ℓ_i 和当前任务的观测 o_t 作为条件，查询WAM生成伪轨迹
• 递归扩展：生成的伪轨迹被用作下一步生成的条件，从而逐步扩展回放序列
• 多任务回放：在学习新任务时，ReGen为所有先前任务生成伪轨迹，并将这些伪轨迹与新任务的真实数据一起用于训练

3. 训练目标

ReGen的训练结合了多个损失函数：

• 行为克隆损失：用于学习动作预测
• 生成目标：用于学习未来观测预测
• 奖励预测损失：用于估计任务完成进度

通过这种多任务学习方式，ReGen能够在适应新任务的同时，保持对先前任务的记忆。

📊 关键结果 Key Results

研究团队在仿真和真实世界环境中进行了全面实验，验证了ReGen的有效性。

LIBERO仿真环境

在LIBERO基准测试中，ReGen在三个任务套件上表现出色：

真实世界实验

在xArm7机械臂上的真实世界实验中，ReGen同样表现出色：

与VLA模型的对比

研究还对比了WAM与标准VLA模型在持续学习中的表现：

💡 个人见解 Insights

这篇论文提出了一个非常巧妙的想法：利用世界动作模型的生成能力来解决持续学习中的灾难性遗忘问题。以下是我对这项工作的分析：

• 优势：
  • 创新性地将WAM的生成能力作为持续学习的回放机制，避免了存储历史演示数据的需求
  • 在仿真和真实世界中都验证了方法的有效性，具有实际应用价值
  • 方法通用性强，可以应用于任何具有生成能力的WAM架构
  • 代码和项目页面公开，便于复现和扩展
• 不足：
  • 长期生成的视觉质量会随时间退化，这是当前WAM的固有限制
  • 生成的伪轨迹可能存在动作-观测不一致性，影响回放效果
  • 实验规模相对较小，仅在3个真实世界任务上验证
  • 与特权经验回放方法相比，性能仍有差距
• 启发：
  • 这项工作为机器人基础模型的持续学习开辟了新方向
  • 随着WAM生成能力的提升，这种方法的性能也将自然提高
  • 可以探索将ReGen与其他持续学习技术（如正则化、参数隔离）结合
  • 对于机器人终身学习和自适应系统具有重要启示

🔗 参考资料 References