跨具身机器人操作中的动作先验学习

📋 摘要 Abstract

大多数视觉-语言-动作（VLA）模型在视觉-语言模型（VLM）骨干网络上附加动作模块并联合优化。这种设计从VLM继承了强大的视觉和语言先验，但动作模块几乎从零开始学习物理运动。这导致策略缺乏显式的运动先验，迫使早期优化同时发现时间动作动态和跨模态对齐——这一挑战在具有异构动作分布的跨具身环境中更加突出。

本文提出在跨模态VLA对齐之前先用运动先验预训练动作模块。具体而言，引入一个两阶段训练框架：第一阶段使用轻量级基于流匹配的编码器-解码器动作模块，仅从无条件动作轨迹中高效学习时间运动结构；第二阶段通过解码器复用和早期潜蒸馏将学到的先验迁移到VLA训练中。此外，训练好的编码器还可作为紧凑的历史压缩器，以极低的计算成本将状态-动作历史总结为单个时间上下文标记。在13个跨具身任务上的广泛实验验证了该方法的有效性。

🔍 研究背景 Background

视觉-语言-动作（VLA）模型已成为机器人操作的主流范式。这些模型建立在基础VLM之上，将高级语言指令和视觉观察与低级物理执行连接起来，在桌面操作、四足机器人和人形系统等多种平台上取得了显著成功。然而，当前VLA的成功主要依赖于从大规模基础模型训练中继承的视觉和语言先验，而动作生成模块本身通常没有获得可比的运动先验。

这种"动作先验缺失"在标准VLA训练流程中造成了关键的不平衡：

• 随机初始化瓶颈：动作模块通常从随机权重或不相关模态的参数初始化，缺乏对物理运动时间结构的了解。早期优化必须同时解决动作分布学习和跨模态对齐两个耦合问题。
• 梯度不稳定：训练不足的动作头产生的梯度不稳定且结构不良，干扰基础骨干网络的有用表征，拖慢收敛速度。
• 跨具身挑战加剧：不同机器人平台具有截然不同的任务、动作空间和运动分布，使得动作预测难度大幅增加。
• 长尾数据问题：在数据稀缺的真实世界任务中，VLA容易将容量分配给数据丰富的模拟任务，导致真实世界行为欠拟合。

⚙️ 方法论 Methodology

第一阶段：动作先验学习

核心思想是让动作模块先学会"怎么动"，再让它在VLA训练中学习"看什么"和"做什么"。第一阶段仅使用无条件动作轨迹，不涉及任何视觉观察或语言指令，就像一个蒙着眼睛的学徒在练习基本动作。

• 动作编码器：将机器人本体感知状态s和动作a交错成序列τ=[s_t, a_t, s_{t+1}, a_{t+1}, ...]，通过Transformer编码器压缩为单个密集潜嵌入z，捕获动作块的全局时间结构。使用可学习的数据集嵌入p_k来区分不同具身平台。
• 流匹配解码器：以潜嵌入z为条件，通过流匹配目标重建原始动作块。定义标准高斯噪声ε到真实动作a之间的概率路径，解码器学习预测速度场，从而建模连续且可能多模态的动作分布。
• 训练目标：最小化动作重建损失L_recon，不使用任何视觉-语言条件。

第二阶段：带动作先验的VLA训练

将第一阶段学到的动作先验通过三种互补方式迁移到VLA训练中：

• 解码器复用：第一阶段训练好的解码器直接初始化VLA动作头，从已建模可行运动的解码器开始训练，而非从随机初始化开始。
• 潜对齐蒸馏：第一阶段的编码器提供结构化潜目标，用于早期阶段的蒸馏。给定真实动作块，编码器产生结构化嵌入z来监督VLM预测的动作特征z'。采用早期步蒸馏策略，对齐权重λ(k)随训练步数线性衰减到零，使模型最终过渡到标准端到端VLA优化。
• 历史压缩：复用动作编码器作为紧凑的历史压缩器，将过去的状态-动作轨迹压缩为单个潜标记z_hist注入VLM。这扩大了时间感受野，以极低的计算开销帮助策略在关键决策点做出更果断的判断。

统一动作-状态空间

为实现跨具身联合训练，定义37维统一动作空间和74维统一状态空间。各具身平台的原生动作/状态向量映射到统一向量的相应槽位，未使用的维度零填充。LIBERO使用7自由度末端执行器增量动作，RoboCasa GR1使用29自由度动作覆盖双臂、双手和腰部，真实世界Franka使用8自由度关节空间动作。

📊 关键结果 Key Results

实验在13个跨具身任务上进行评估，涵盖两个模拟基准（LIBERO和RoboCasa）和一个真实世界Franka平台。所有模型在完整的跨具身混合数据上训练，无需环境特定的微调。

核心实验结果：

• 整体性能提升：动作先验将总体平均成功率从55.3%提升至64.9%（+9.6%），加上历史压缩进一步提升至68.0%（+12.7%）。
• 长尾任务大幅改善：在数据稀缺的真实世界任务中，改进最为显著。Grasp Coke从5%提升至35%，Stack Cups从25%提升至75%。π₀.₅尽管模拟性能优秀，但在Stack Cups上完全失败。
• 历史压缩消除犹豫：启用历史压缩后，Grasp Coke从35%提升至50%，Stack Cups从75%提升至80%。编码器压缩的历史让VLM能推断机器人是正在接近、对齐还是准备抓取。
• 训练动态显著改善：动作先验使初始预测损失降低近8倍（从~7.1降至~0.9），初始梯度范数降低近16倍（从~1400降至~90），实现显著更快更稳定的收敛。
• 数据缩放有效：将第一阶段动作数据从565k扩大到约2.3M转换（4倍），下游VLA性能持续提升，且第一阶段仅需2小时（约为VLA训练20小时的10%额外开销）。

💡 个人见解 Insights

这篇论文提出了一个简洁而优雅的思路：在VLA训练中，动作模块不应该从零开始学习物理运动。通过将动作先验学习与视觉-语言对齐解耦，作者不仅解决了训练不稳定的问题，还意外地发现这种方法对长尾数据稀缺任务有奇效。

• 优势：① 框架设计简洁优雅，两阶段解耦思路清晰；② 仅需10%额外训练开销却带来显著性能提升；③ 在长尾真实世界任务上的改进尤为突出，这对实际部署至关重要；④ 历史压缩机制巧妙复用了编码器，无需额外参数。
• 不足：① 仅在13个任务上验证，跨具身多样性仍有提升空间（主要覆盖桌面操作）；② 统一动作空间的设计需要手动定义槽位映射，自动化程度有限；③ 对于全新具身平台，第一阶段需要收集足够的动作轨迹数据。
• 启发：① "先学运动再学感知"的思路可推广到其他领域，如自动驾驶中先学驾驶动力学再学视觉感知；② 动作先验数据缩放有效的发现表明，收集大规模无条件动作轨迹（无需视觉/语言标注）是一种低成本提升策略；③ 编码器作为历史压缩器的设计为长序列决策提供了高效的时间上下文注入方案。

🔗 参考资料 References