← 返回首页
🦾 机器人

Co-VLA: 双臂视觉语言动作系统的协调感知结构化动作建模

Co-VLA: Coordination-Aware Structured Action Modeling for Dual-Arm Vision-Language-Action Systems

📅 2026-06-21 ✍️ Yandong Wang, Jiaqian Yu, Xiongfeng Peng, Lu Xu, Yamin Mao, Weiming Li, Jaewook Yoo, Dongwook Lee, Daehyun Ji, Mingbo Zhao, Chao Zhang 🏷️ cs.RO ⏱️ 约 12 分钟

📋 摘要 Abstract

SAE架构
Figure 1: 结构化动作专家（SAE）架构。将传统VLA模型的单一动作头替换为并行的潜变量解码器，将双臂动作分解为共享协调潜变量和双臂各自的残差执行潜变量。

视觉-语言-动作（VLA）模型在单臂和双臂机器人操作中展现了强大的能力。先前的工作表明，协调的双臂行为可以从端到端学习中自发涌现。然而，随着双臂任务的耦合度越来越高，仅靠隐式协调不足以保证可靠、可解释和稳定的执行行为。

本文提出 Co-VLA，一个协调感知的双臂操作框架，通过将显式结构先验引入VLA模型来解决这一问题。具体而言，Co-VLA在最先进的视觉-语言骨干网络上，将单一动作头替换为结构化动作专家（SAE），通过模块化的协调感知损失函数，将动作分解为共享潜变量（编码任务级协调意图）和残差潜变量（编码各臂的执行调整）。在部署时，潜变量感知控制器（LAC）解释学到的协调表示，在实时调制同步强度、执行不对称性、运动平滑度和安全约束，无需力传感器或阻抗控制。

💡 一句话总结

Co-VLA通过显式分解双臂动作的共享协调意图和残差执行细节，在紧密协调任务上提升27%成功率，OOD场景性能翻倍（13%→27%），任务完成时间减少最高25%。

🔍 研究背景 Background

VLA模型能够将视觉观测和语言指令直接映射到连续动作，在单臂操作中取得了优秀成果，并在双臂设置中展现了令人鼓舞的进展。然而，双臂操作面临着独特的挑战：

  • 协调耦合度高：双臂操作需要精确的时间同步、非对称角色分配，以及严格的执行级约束（如碰撞避免和运动平滑性）
  • 隐式协调不足：现有VLA系统将双臂动作作为单一向量直接回归，完全依赖模型隐式学习协作，同步强度、执行不对称性和安全行为难以解释和调节
  • 核心观察：「双臂操作中的协作不是动作本身，而是动作之上的结构」——两臂通常共享任务级意图（如共同搬运物体），但需要在关节级别采用不同的执行策略
  • 现有基线局限：π₀、π₀.5等VLA模型在双臂特定任务上表现不一致（π₀.5并不总是优于π₀），表明仅靠骨干网络容量不足以解决双臂协调问题

⚙️ 方法论 Methodology

Co-VLA由三个核心组件构成：结构化动作专家（SAE）、潜变量感知控制器（LAC）、以及协作运动演示范式（Co-Motion）。

1. 结构化动作专家（SAE）

SAE将传统VLA模型的单一投影头替换为并行的潜变量解码器。给定隐藏表示 hₜ，SAE计算三个潜变量向量：

  • 共享潜变量 zₜˢ：编码任务级协调意图（如"共同搬运"的同步意图）
  • 左臂残差 zₜᴸ：编码左臂特有的执行调整
  • 右臂残差 zₜᴿ：编码右臂特有的执行调整

最终关节命令通过加法组合得到：aₜ,ᴸ = aₜ,ᴸˢ + aₜ,ᴸʳ。这种分解保持了原始关节级动作接口，同时引入了协调结构与执行细节之间的显式分离。

Co-Motion范式
Figure 2: 顺序运动范式（左）与协作运动范式（Co-Motion，右）的对比。Co-Motion将任务分解为具有显式同步边界的阶段，非冲突子任务并行分配给两臂。

2. 任务自适应协调损失

不同双臂任务需要不同的协调模式，SAE引入三类模块化辅助损失：

  • 稀疏残差正则化 ℒₛₚₐᵣₛₑ：对残差分量施加 L₁ 正则化，鼓励对称任务中的共享主导行为
  • 共享均速一致性 ℒₛₕₐᵣₑd：对齐共享分量与两臂平均关节速度，强化共享潜变量作为协调驱动器的语义解释
  • 时间同步损失 ℒₛᵧₙc：鼓励两臂在加速/减速时同步，无论运动方向

3. 潜变量感知控制器（LAC）

LAC在部署时解释SAE的共享-残差分解，自适应地精炼关节命令：

  • 能量分析：计算微运动比 ρₜ = Eₜʳ / (Eₜˢ + ε)，判断残差调整的相对重要性
  • 反对称分析：计算反对称得分 ωₜ，区分有意义的协作调整与噪声
  • 自适应刚度调制：三种模式——宏观主导（高保真传输）、精密微调（保护关键残差）、噪声抑制（降低无关抖动）
  • 低通精炼：q̃ₜ = (1-αₜ)q̃ₜ₋₁ + αₜqₜ，确保运动平滑性同时保留任务关键分量

关键优势：LAC不引入额外学习模块，不修改训练策略，仅在执行时解释SAE已有的语义结构，兼容标准机器人控制管线。

4. 协作运动演示范式（Co-Motion）

Co-Motion通过共享参考系、前瞻预计算和安全中间目标，在训练集中增加并发双臂协调样本的密度。Co-Motion将演示时间减少10-25%，但也揭示了效率与可学习性之间的权衡。

📊 关键结果 Key Results

仿真评估（RoboTwin 2.0）

评估任务
Figure 3: 评估任务示例。上排：RoboTwin 2.0仿真中的双臂任务（Aloha-AgileX机器人）；下排：真实世界任务（AgileX Cobot Magic机器人）。
任务 π₀ Easy π₀ Hard Co-VLA Easy Co-VLA Hard
Handover Block64%7%91%12%
Lift Pot100%63%100%65%
Pick Diverse Bottles91%13%95%16%
Pick Dual Bottles100%16%100%18%
Place Bread Basket70%46%69%48%
Place Bread Skillet63%8%70%8%
Put Object Cabinet79%8%81%5%
Scan Object41%3%50%2%
平均76%21%82%22%

Co-VLA在所有任务上一致匹配或超越π₀和π₀.5，将Easy设置平均成功率从76%提升到82%。最大改进出现在Handover Block任务（64%→91%），这是一个需要紧密臂间协调的任务，表明显式共享-残差分解特别有益于角色耦合的操作任务。

真实世界评估

真实世界任务
Figure 4: 真实世界OOD评估条件示例，包括杂乱背景、干扰物体和低光照环境。
方法 Handover ID Handover OOD Pick ID Pick OOD Lift ID Lift OOD
π₀63%13%57%37%43%33%
Co-VLA (no LAC)57%17%57%50%63%27%
Co-VLA + LAC73%27%67%47%67%37%
潜变量-行为对齐
Figure 5: 潜变量-行为对齐分析。左：共享能量 Eₜˢ 与臂间同步度的正相关；右：残差能量 Eₜʳ 与同步度的负相关。确认共享潜变量作为协调驱动器的作用。
🏆 核心发现

1. Co-VLA在紧密协调任务上提升27%成功率（Handover Block: 64%→91%）
2. OOD场景性能翻倍（Handover OOD: 13%→27%）
3. 任务完成时间减少最高25%（Co-Motion训练的模型平均完成时间从22.88s降至18.18s）
4. SAE和LAC互补：SAE提供表示结构，LAC将其转化为可靠执行
5. 潜变量分解具有可解释性：共享能量与同步度正相关，残差能量与同步度负相关

💡 个人见解 Insights

LAC效果
Figure 6: LAC对关节轨迹的影响。LAC产生更平滑的轨迹（更少加速度峰值、更低跨rollout方差），同时保留任务关键运动模式。朴素EMA滤波虽然最平滑，但过度抑制精密微调导致任务成功率下降。

Co-VLA是一个精心设计的工程贡献，在VLA框架的架构层面引入了有意义的结构先验。以下是我的个人评价：

  • 优势：SAE的共享-残差分解直觉清晰且数学优雅；LAC无需力传感器或阻抗控制即可提升执行质量，部署友好；模块化设计使得SAE和LAC可以独立使用或组合
  • 优势：Co-Motion范式虽然暴露了效率-可学习性的权衡，但为双臂演示数据收集提供了新思路；消融实验清晰地展示了各组件的贡献
  • 不足：辅助损失需要基于任务协调模式手动选择（稀疏/共享/同步），未来需要自动化的损失路由机制
  • 不足：Co-Motion训练后成功率显著下降（82%→56%），说明当前VLA架构难以充分利用高密度协调数据
  • 不足：仅在π₀骨干上验证，尚未在扩散策略等其他连续动作范式上测试SAE的泛化性
  • 启发：「协作是动作之上的结构」这一观察可推广到多智能体系统；SAE的分解思路可能启发其他需要协调的机器人任务（如多指灵巧手、多机器人协作）
  • 启发：LAC的「解释-调制」范式（不修改策略，仅在执行时解释语义结构）可能成为VLA部署的标准模式

🔗 参考资料 References

📄

查看原文 View Original Paper

arXiv: 2606.20285
📥

下载 PDF Download PDF

arXiv PDF