ORCA：开源灵巧操作研究平台

📋 摘要 Abstract

ORCA框架概览 — **Figure 1:** ORCA是一个开源的端到端灵巧操作研究平台，统一了控制、仿真、遥操作和人类到机器人的动作重定向，并与LeRobot等流行机器人学习框架原生集成。

机器人操作研究越来越关注两指平行夹爪，因其有效性、低成本和易于遥操作。然而，夹爪受限于其形态，即使是简单的重新定向任务也需要双臂设置。拟人化手是更自然的灵巧机器人学习平台——更接近人手，且能够从人类视频中学习——但它们在学习研究中仍然难以使用：即使存在开放且可访问的手部硬件，控制、仿真、遥操作和重定向的软件也分散在各自独立的代码库中，且与机器人学习生态系统基本脱节。

本文介绍了ORCA学习栈，一个将灵巧操作作为一等机器人学习领域的开源研究平台。ORCA栈统一了底层控制、仿真、来自多种消费级平台的遥操作和手部重定向，通过单一接口实现，并与LeRobot等流行机器人学习框架原生集成，使灵巧手研究人员能够利用与非灵巧机器人学习相同的数据、训练和评估流程。

💡 一句话总结

ORCA首次将灵巧手操作带入主流机器人学习生态，通过统一的开源软件栈和低成本3D打印硬件，让研究人员能像使用夹爪一样轻松地进行灵巧操作研究。

🔍 研究背景 Background

当前机器人操作研究主要围绕平行夹爪展开，原因在于其可靠性、机械简单性和易于遥操作。然而，夹爪无法实现人手级别的灵巧操作，如手中物体重新定向等接触丰富的任务。拟人化手虽然更具潜力，但面临以下挑战：

成本高昂：高端灵巧手（如SHARPA约5万美元、Shadow Dexterous约6万美元）价格远超普通夹爪
软件碎片化：控制、仿真、遥操作和重定向的软件分散在各自独立的代码库中，缺乏统一接口
生态系统脱节：现有灵巧手软件与主流机器人学习框架（如LeRobot）不兼容
维护困难：灵巧手包含多个执行器、传动装置、传感器和接触面，磨损难以定位和修复

尽管存在这些挑战，灵巧手仍具有独特优势：它们能执行夹爪无法实现的接触丰富任务，可以直接使用为人类设计的工具和界面，并且与人类形态相似，可以从人类视频中直接学习。

⚙️ 方法论 Methodology

ORCA的核心贡献是一个统一的开源软件栈，围绕低成本3D打印肌腱驱动手构建，包含四个相互协作的包：

ORCA软件栈架构 — **Figure 2:** ORCA软件栈按抽象层次组织，从底层硬件控制到高层策略学习，形成完整的灵巧操作研究平台。

1. ORCA Core：统一的手部接口

硬件抽象：提供位置和电流控制的强类型接口，抽象执行器校准和张紧
状态估计：重建完整关节状态，包括触觉读数，以固定控制率提供给闭环策略
跨平台兼容：同一接口支持物理手和仿真手，代码无需修改即可在两者间切换

ORCA Core接口 — **Figure 3:** ORCA Core通过轻量级API实现对物理手和仿真手的高层访问，提供统一的控制接口。

2. ORCA Sim：仿真支持

MuJoCo集成：基于URDF和MJCF的仿真环境，支持快速原型开发
ManiSkill集成：支持GPU并行仿真用于大规模训练
多种操作平台：支持单臂（Franka Panda）和双臂（OpenArm）设置

3. ORCA Teleop：简化遥操作

ORCA遥操作流程 — **Figure 4:** ORCA Teleop支持多种消费级设备（摄像头、VR头显、动作捕捉手套），构建了统一的遥操作流程。

多设备支持：MediaPipe摄像头追踪、Meta Quest 3 VR头显、Manus动作捕捉手套
实时重定向：40-50 FPS的遥操作流程，使用Huber损失处理噪声和形态不匹配
LeRobot集成：演示数据直接存储为LeRobotDataset格式，支持ACT、Diffusion Policy等策略训练

4. ORCA Arm：完整操作平台

单臂集成：支持Franka Emika Panda机械臂
双臂集成：支持OpenArm双臂设置
统一控制：通过同一接口控制手部和臂部，实现完整的操作任务

📊 关键结果 Key Results

研究团队通过端到端的灵巧操作工作流程验证了ORCA平台的能力：

硬件耐久性测试

测试方法：连续5小时的循环应力测试（约3500次开合循环）
监控指标：以2Hz频率轮询每个电机温度，阈值70°C
结果：无热切断，无执行器或传动装置故障

端到端遥操作与模仿学习

Meta Quest遥操作实验 — **Figure 5:** 使用Meta Quest 3头显进行手中物体重新定向任务的遥操作演示，展示了完整的数据采集和策略训练流程。

任务：手中物体重新定向（in-hand reorientation）
数据采集：使用Meta Quest 3 VR头显收集10个专家演示
策略训练：基于ACT的50M参数行为克隆策略，使用LeRobot默认配置
评估结果：在10次测试中成功9次（90%成功率）
输入模态：仅使用视觉-运动输入（手腕和顶部摄像头视图 + 手部本体感觉）

🏆 核心发现

ORCA成功证明了：1）灵巧手可以像夹爪一样轻松地集成到主流机器人学习流程中；2）仅需10个演示即可学习有效的闭环灵巧操作策略；3）整个流程可以在仿真中完成，无需物理硬件。这为灵巧操作研究的民主化奠定了基础。

💡 个人见解 Insights

ORCA代表了灵巧操作研究的重要进展，其价值不仅在于技术贡献，更在于对研究生态系统的潜在影响：

优势：完整的端到端解决方案，从硬件到软件再到学习流程；与LeRobot的原生集成极大降低了使用门槛；开源和低成本设计真正实现了研究的民主化
不足：软件栈分为四个独立包可能增加集成复杂性；肌腱驱动手的仿真精度有限，难以精确建模接触丰富的交互；目前仅支持有限的输入设备
启发：ORCA的模块化设计为社区贡献提供了良好基础；仿真优先的方法使资源受限的研究者也能参与；未来可能催生更多灵巧操作的基础模型和数据集

这项工作最令人兴奋的方面是它可能带来的"飞轮效应"：当更多研究者使用ORCA时，会产生更多高质量的灵巧操作数据集和预训练模型，这反过来又会吸引更多研究者进入这个领域，形成良性循环。这与夹爪机器人领域的发展轨迹相似，但灵巧手的更高自由度和更丰富的交互能力可能带来质的飞跃。

🔗 参考资料 References

📄

查看原文 View Original Paper

arXiv: 2606.14561

📥

下载 PDF Download PDF

arXiv PDF