← 返回首页
🤖 具身智能

CHORUS: 用单一 VLA 策略实现去中心化多具身协作

CHORUS: Decentralized Multi-Embodiment Collaboration with One VLA Policy

📅 2026-06-12 ✍️ Ria Doshi, Tian Gao, Annie Chen, Chelsea Finn, Jeannette Bohg ⏱️ 约 10 分钟

🎯 摘要

多机器人协作能让机器人高效完成各种任务——从搬运沙发到建筑工地组装。然而,在移动多机器人场景中实现这种协调仍然极具挑战:

  • 中心化方法:以团队联合观测为条件,随团队规模增长而扩展性差
  • 去中心化方法:为每个机器人训练独立策略,通常需要推理时的信息共享或对齐程序

CHORUS 的核心洞察:预训练 VLA 模型的视觉运动先验足以支持去中心化、多具身协作,无需推理时的通信或对齐。每个机器人仅依赖自身观测和身份提示独立运行。

CHORUS 概览
Figure 1: CHORUS 概览:单一 VLA 策略用于去中心化多具身协作。推理时每个机器人独立运行 CHORUS 的本地副本,仅以自身观测和身份提示为条件,无需任何机器人间通信。

研究背景

多机器人协作面临一个核心矛盾:

如何让多个形态各异的机器人在仅依赖自身观测的条件下实现高效协作,而无需推理时通信或显式对齐?

具体挑战包括:

  • 中心化瓶颈:联合观测空间随团队规模线性增长,需要实时通信
  • 部分可观测性:去中心化方法中每个机器人只能看到自己的视角
  • 异构团队:不同机器人的传感器、控制频率、运动学各异
  • 分布偏移:VLA 预训练数据几乎全是单机器人任务

🔧 方法论

CHORUS 基于 π₀.₅ 预训练 VLA 骨干网络,通过三个关键设计实现去中心化多机器人协作:

1. 多机器人数据收集

  • 使用 TidyBot++ 遥操作界面收集数据
  • 两人团队:一人双手各操控一台机器人
  • 三人团队:增加第二名操作员控制第三台
  • 每个 episode 同步记录所有机器人的 (观测, 动作) 对
  • 协作策略设计确保任务可在去中心化方式下完成

2. 策略设计与训练

  • 单一共享策略:πθ(Ar | or, cr),比每机器人独立策略更高效且性能更好
  • 跨具身输入格式:继承骨干网络的 32 维填充动作向量和可变数量的图像 token
  • 身份提示:cr 标识具身类型(<ARX>, <Kinova> 等)和角色
  • 机器人采样器:从单机器人数据池中采样,控制不同具身的训练频率
  • LoRA 微调:VLM 部分 rank 16,动作专家部分 rank 32
  • Flow-matching 损失:仅在单机器人元组上计算,从不使用联合观测
CHORUS 训练与部署
Figure 2: CHORUS 训练与部署流程。训练时使用机器人采样器从多机器人数据中抽取单机器人的 (o, a) 对;部署时共享权重在每个机器人上独立运行。

3. 去中心化部署

  • 每个机器人独立运行 CHORUS 的本地副本
  • Art ~ πθ(· | ort, cr),仅使用自身观测和身份提示
  • 支持异步执行:不同机器人可按不同控制频率推进
  • chunk 大小按控制频率等比例缩放,确保规划时间范围一致

📊 关键结果

在四个真实世界多具身协作任务上评估:

  • 篮子搬运:Kinova + ARX 协作搬运洗衣篮
  • 卷尺测量:Kinova + ARX 协作拉卷尺
  • 书籍交接:YAM + Kinova 协作递书
  • 三机器人搬运:Kinova + YAM-1 + YAM-2 协作搬篮过门

每个任务收集 25-45 个 demo,评估 10-18 次 rollout。

评估任务
Figure 3: 评估任务套件。包括篮子搬运、卷尺测量、书籍交接和三机器人搬运。每个机器人在整个任务中只接收一个提示。

Q1: 预训练骨干网络 vs 从头训练

CHORUS 比去中心化扩散策略(从头训练的模仿学习方法)平均成功率高 64 个百分点

扩散策略的典型失败模式:

  • 干扰物导致混淆(卷尺测量任务)
  • 队友未就位就开始动作(篮子搬运中 Kinova 先抓导致滑落)

Q2: 权重共享 vs 每机器人独立策略

队友反应性测试
Figure 5: 队友反应性评估。YAM 被横向扰动,Kinova 必须跟踪 YAM 的位置完成交接。CHORUS 的恢复成功率是无权重共享版本的近 2 倍。

在扰动恢复实验中,CHORUS 成功率 17/20 (85%),而无权重共享版本仅 9/20 (45%)。权重共享让策略对队友行为的反应性提升近 40 个百分点

无权重共享策略的主要失败模式是"过早抓取"——Kinova 在最常见位置抓取,而非跟踪 YAM 的新位置。

Q3: 去中心化 vs 中心化

尽管中心化策略理论上拥有更多信息(联合观测),CHORUS 在平均成功率上匹配或超过中心化基线。

原因分析:

  • 分布偏移:中心化设置需要将不同机器人的观测塞入预训练时的 4 个摄像头槽位,破坏了预训练时学到的语义对应
  • 输入维度增长:联合观测空间更大,任何微小的队友不同步都会加剧分布偏移
  • CHORUS 保持了预训练分布:每次只处理一台机器人的观测

Q4: 扩展到三机器人团队

无需任何架构修改,CHORUS 在三机器人搬运任务中达到 90% 成功率

  • Kinova 开门,两个 YAM 抬篮子过门送到卧室
  • YAM-1 无后视摄像头,必须从 YAM-2 的行为推断 Kinova 何时清空门口
  • YAM-2 过门时需调整避免碰撞,YAM-1 需同步暂停防止篮子滑落

架构设计优势

特性 VLA 中心化 CHORUS (无权重共享) CHORUS
总参数量 (↓) 3B × N 3B × N 3B (恒定)
上下文窗口 (↓) N × C C C (恒定)
推理时通信 需要 不需要 不需要
异步执行 不支持 支持 支持

💡 个人见解

核心贡献

  1. 预训练 VLA 骨干网络对多机器人协作有价值:即使协作任务完全在预训练分布之外,VLA 先验仍能带来巨大提升(+64%)
  2. 权重共享提升队友反应性:在所有机器人视角上训练的共享表征能更好地预测队友行为(+40%)
  3. 去中心化可超越中心化:保持预训练分布比获取更多信息更重要
  4. 无缝扩展:同一架构无需修改即可从 2 机器人扩展到 3 机器人(90% 成功率)

局限性

  • 严格同步任务:需要精确同步(如同时松开夹爪)的任务仍需中心化控制
  • 数据要求:演示必须包含足够的视觉信息使去中心化执行可行
  • 数据稀缺:现有多机器人协作数据集极少,社区需要共同收集协作数据

为什么重要

这篇工作的意义超越了技术本身:

  • 具身智能的协作范式:证明了单一 VLA 策略可以涌现出多机器人协作能力,无需显式编程
  • 预训练先验的迁移力量:VLA 在单机器人数据上学到的视觉运动先验可以迁移到完全 OOD 的多机器人场景
  • 实用的工程方案:3B 参数恒定、无需通信、支持异步——这是真正可部署的多机器人系统
  • 对 VLA 研究的启示:权重共享带来的反应性提升暗示 VLA 内部可能学到了"社交"表征

来自 Chelsea Finn 和 Jeannette Bohg 的实验室,这项工作为"协作具身智能"开辟了一条优雅的技术路径。

📚 参考资料