CoorDex：协调身体与手部先验实现连续灵巧人形机器人移动操作
CoorDex: Coordinating Body and Hand Priors for Continuous Dexterous Humanoid Loco-Manipulation
摘要 Abstract
人形机器人的移动操作（loco-manipulation）通常被简化为"走过去→停下来操作→再走"的分段流程，且多依赖低自由度的开合式抓取器。CoorDex 提出了一种全新的学习框架，将高维全身控制和灵巧手控制转化为协调的潜空间残差控制（coordinated latent residual control），使人形机器人能够在持续行走中完成高自由度灵巧操作。
具体而言，CoorDex 首先从仿真全身和手部示范中训练特权运动跟踪教师模型，将其蒸馏为基于本体感受条件的潜空间先验，再将冻结的先验作为下游残差强化学习的动作空间。一个协调潜空间残差策略通过共享任务上下文和分离的身体/手部残差头来组合这些先验，在保持自然全身运动的同时提升手指级接触可靠性。
CoorDex 通过将全身运动和灵巧手控制解耦为独立的潜空间先验，并用协调残差策略组合，首次实现了人形机器人在持续行走中完成高维灵巧抓取、开门和搬运任务。
研究背景 Background
人形机器人配备高自由度灵巧手后，理论上可以在人类环境中同时导航和操作物体。然而，实现这一目标面临多重挑战：机器人必须在保持平衡的同时协调手腕定位、手指预成型、闭合抓取和物体运输，整个过程涉及全身29个关节和灵巧手20个关节的高维控制。
- 全身运动跟踪（Motion Imitation）：DeepMimic 等方法通过参考运动跟踪实现高维人形控制，PULSE、CALM 等进一步研究了紧凑的潜空间运动表示。
- 灵巧手操作（Dexterous Manipulation）：大规模抓取数据集、跨具身表示（如 Grasp、OHRA）和示范生成系统（ManipTrans、DexMimicGen）推动了手指级灵巧性，但通常假设手腕运动由外部提供。
- 人形移动操作（Humanoid Loco-Manipulation）：现有方法多采用端执行器中心的低维接口，将导航和操作在时间上分离，而非在连续行走中同步完成灵巧操作。
- 核心挑战：在行走人形机器人上，手腕姿态由步态时序、根部运动和躯干姿态共同决定。手部先验若还需解释6D手腕运动，则会将大量容量用于身体侧定位而非手指协调。
方法论 Methodology
CoorDex 是一个模块化框架，将高维人形运动和灵巧手控制映射到协调的潜空间残差控制。整体流程分为三个阶段：
阶段一：先验构建（Prior Construction）
- 身体跟踪教师：基于 BeyondMimic 设计，跟踪骨盆、腿部、躯干、手臂和手腕的参考运动，输出29维关节位置设定点，使用指数跟踪奖励+正则化训练PPO。
- 手部跟踪教师：跟踪 MANO 关键点（重定向到 WUJI 手指），仅控制20个手指关节（手腕由身体先验决定），避免将潜空间容量浪费在高方差手腕运动上。
- VAE 蒸馏：将教师蒸馏为本体感受条件的学生先验+解码器，使用变分瓶颈。损失函数包含动作重建、平滑性和KL散度三项。
阶段二：协调潜空间残差策略（Coordinated Latent Residual Policy）
- 先验分解：身体先验（16维潜空间）负责运动、伸手和手腕定位；手部先验（12维潜空间）控制手指预成型、闭合和接触。
- 协调组合：每个控制步，冻结的身体和手部先验分别编码本体感受为潜空间均值。这些均值连同物体几何、接触特征和当前状态，输入共享协调主干网络，产生任务级协调特征。
- 残差头：两个残差头分别预测身体和手部的潜空间校正，加到对应先验均值上再解码。身体残差调整步态、躯干运动和手腕定位，手部残差精炼手指预成型和接触。
阶段三：残差强化学习与环境设计
- 仿真环境：Isaac Lab 中使用 Unitree G1（29 DoF）+ WUJI 灵巧手（20 DoF），60Hz 控制频率。
- 三个任务：WalkGrab（行走中抓取搬运瓶子）、OpenFridge（边后退边开门）、WalkPickTurn（拾取方块并180°转身）。
- NoDemoRSI：为 WalkPickTurn 等长周期任务提供探索支持，从策略自身发现的状态重置后期阶段，无需专家状态或动作标签。
关键结果 Key Results
实验在 10,000 个并行仿真环境中收集 50,000 个评估回合，验证了三个核心问题：
Q1：统一的身体-手部潜空间残差接口是否支持多样化的移动操作技能？
| 任务 | 成功率 | 跌倒率 | 掉落率 | 任务特定指标 |
|---|---|---|---|---|
| WalkGrab | 0.55 | 0.00 | 0.40 | 速度曲线见下图 |
| OpenFridge | 0.66 | 0.00 | — | 门角: 57.76°/60° |
| WalkPickTurn | 0.89 | 0.01 | 0.10 | 最小航向误差: 9.98° |
Q2：潜空间动作是否优于直接关节空间控制？
| 方法 | 成功率 | 接近率 | 抓取率 | 停下率 | 跌倒率 |
|---|---|---|---|---|---|
| 全关节空间 PPO | 0.00 | 1.00 | 0.00 | 0.86 | 0.04 |
| 身体先验 + 手部关节空间 | 0.00 | 0.96 | 0.01 | 0.90 | 0.04 |
| CoorDex | 0.55 | 1.00 | 0.55 | 0.00 | 0.00 |
全关节空间策略扭曲全身姿态且从未学会抓取；身体先验+手部关节空间策略虽能接近瓶子，但在物体附近减速停下，本质上将问题退化为静态抓取。CoorDex 在抓取时保持 ~0.25 m/s 的前进速度，实现了真正的"不停步"灵巧操作。
Q3：协调残差预测是否优于单体潜空间预测？
| 方法 | 成功率 | 动作变化率 | 跌倒率 |
|---|---|---|---|
| 单体潜空间残差 | 0.00 | 0.40 | 0.02 |
| CoorDex（协调残差） | 0.55 | 0.22 | 0.00 |
即使两个先验都可用，单体残差预测也无法完成任务——其动作变化率（0.40）是 CoorDex（0.22）的近两倍，产生抖动的不自然运动。CoorDex 的共享主干让策略推理相同任务状态，分离的头让身体适应和手指适应不会被迫通过单一输出通路，这是高维接触丰富移动操作可训练的关键。
个人见解 Insights
CoorDex 的核心洞察在于：高维灵巧移动操作的关键瓶颈不是单一子系统的控制能力，而是身体和手部之间的协调结构。将两者解耦为独立潜空间先验再通过共享上下文组合，比端到端联合控制或单体潜空间预测都更有效。
- 优势：模块化设计使框架可扩展——身体先验和手部先验可独立训练和替换；消融实验设计严谨，清晰展示了每个组件的贡献；实现了真正的"不停步"灵巧操作而非分段式移动操作。
- 不足：当前策略使用特权状态观测（物体位姿、接触信号），尚未涉及视觉感知或 sim-to-real 迁移；仅在 G1+WUJI 单一硬件配置上验证；WalkPickTurn 等长周期任务仍依赖任务特定的探索支持（NoDemoRSI）。
- 启发：可复用运动先验应与任务感知的潜空间协调配对，将全身运动能力和灵巧接触视为耦合行为而非拼接模块。这一思路可推广到更多具身智能场景，如双臂协作、工具使用等需要多子系统协调的任务。
参考资料 References
查看原文 View Original Paper
arXiv: 2606.23680
下载 PDF Download PDF
arXiv PDF
项目主页 Project Page
skevinci.github.io/coordex