Embodied-R1.5: 通过具身基础模型进化物理智能

📋 摘要 Abstract

本文提出了 Embodied-R1.5，一个统一的具身基础模型（Embodied Foundation Model, EFM），在单一架构中集成了全面的具身推理能力，涵盖具身认知、任务规划、纠错和指向定位四大维度。该模型仅拥有 8B 参数，却在 24 个具身 VLM 基准中的 16 个上达到了 SOTA，平均得分 70.4%，超越了 Gemini-Robotics-ER-1.5（+17.0%）和 GPT-5.4（+21.7%）。

团队构建了超过 150 亿 token 的大规模数据系统，设计了多任务平衡 RL 训练方案来解决异构任务冲突，并提出了 Planner-Grounder-Corrector（PGC）闭环框架，使单个模型能够自主执行和自我纠正长时程任务。此外，只需少量动作数据即可将 EFM 微调为 VLA，在 4 个操作基准套件上全面超越 π₀.₅ 等强基线。

🔍 研究背景 Background

大语言模型在数字世界取得了巨大成功，但将智能扎根于物理世界以实现通用物理智能仍是一个核心挑战。具身推理（Embodied Reasoning）正在成为弥合"看"与"做"之间鸿沟的关键路径：模型不仅需要感知物理世界，还需要推理其中的空间几何和任务安排。

然而，现有工作在实现统一的具身基础模型（EFM）时面临三个根本瓶颈：

• 能力碎片化：当前具身模型各自只覆盖能力谱系的一部分——有的关注认知，有的关注规划和纠错，有的关注定位（grounding）。即使像 RynnBrain 这样的尝试也依赖不同规模的多个模型分别处理不同任务，而非真正统一。
• 多任务冲突：长文本推理、轨迹预测和多样化定位任务的输出格式差异巨大，多任务联合学习面临严重的收敛困难，不同能力之间会相互侵蚀。
• 缺乏闭环自主验证：大多数现有 EFM 停留在具身问答（Embodied QA）层面，没有验证推理能力是否真正在长时程复杂决策中扎根于物理世界。

基于 Embodied-R1 的范式，Embodied-R1.5 从一个"定位专家"跃升为全面的 EFM，用系统性方案解决上述三大瓶颈。

⚙️ 方法论 Methodology

三大统一能力维度

Embodied-R1.5 将 EFM 所需的能力组织为三个互补维度，形成从感知到决策到执行的渐进推理链：

• 具身认知与空间推理：理解物理世界的语义和空间结构，包括空间关系理解、度量空间推理、3D 场景感知、物体与场景认知四个子维度。
• 具身规划与纠错：覆盖任务执行的完整生命周期——长时程任务分解、下一步规划、过程检测、错误定位、错误纠正五个子能力。
• 具身指向与定位：Embodied-R1 系列的标志性能力，包括指代表达定位（REG）、区域指代定位（RRG）、物体功能定位（OFG）、视觉轨迹生成（VTG）四种类型。

架构设计

Embodied-R1.5 是一个 8B 参数的 VLM，所有输出均表示为纯文本 token 序列（坐标归一化到 [0, 1000]，轨迹为有序坐标序列）。相比使用额外特殊 token 输出坐标的方法，直接生成数字坐标作为纯文本能产生更稳定的预测。

模型可进一步扩展为 VLA（Embodied-R1.5-VLA）：附加基于 DiT 的轻量级 flow-matching 动作专家，形成双系统架构（System 2 负责推理，System 1 负责动作生成）。核心假设是：当 VLM 充分内化了具身推理能力后，从理解意图到动作的映射变得相对简单。

数据构建：三大自动化管道

团队构建了涵盖 34 个数据集、总计超过 150 亿 token 的具身数据系统：

• 管道 1：3D 场景标注（空间推理） — 从真实机器人场景的 RGB 图像重建 3D 语义场景图，结合 MoGe-2 单目几何估计、Grounded-SAM 开放词汇实例分割和 RANSAC 平面校准，生成 ER1.5-Spatial 数据集（~20K 样本）。
• 管道 2：失败感知标注（规划与纠错） — 构建 ER1.5-Correction 数据集（~800K 样本），沿规划失败/执行失败两个维度和检测/定位/纠正三个认知层次组织六种 QA 类型。
• 管道 3：可供性与轨迹数据（指向定位） — 构建 ER1.5-Pointing 数据集（~400K 样本），同时支持末端执行器轨迹和物体轨迹，包括 2D 和 3D 视觉轨迹生成。

训练策略

采用两阶段训练范式：

• Stage 1: SFT — 在大规模具身数据上进行监督微调。
• Stage 2: RFT — 多任务平衡 RL 方案，包含难度感知数据过滤、动态过滤和全局批次奖励归一化。RFT 在三个能力维度上分别带来 +2.7pp、+3.8pp、+1.3pp 的提升。

PGC 闭环自主框架

Planner-Grounder-Corrector（PGC）是本文的核心创新之一：单个 8B 模型同时扮演规划者、定位者和纠正者三个角色，实现长时程任务的全自主执行。规划者分解任务，定位者在每步定位工具和容器，纠正者监控执行并在检测到偏差时触发重新执行。

📊 关键结果 Key Results

具身 VLM 基准：16/24 SOTA

在 21 个主要精度基准上平均得分 70.4%：

机器人操作：超越 π₀.₅

将 Embodied-R1.5 微调为 VLA 后，在 4 个操作基准套件上全面超越强基线：

• SimplerEnv Google Robot Visual Matching：92.4%，超越 π₀.₅ 超过 20%
• PartNet-Mobility：超越 ManipLLM 11%
• LIBERO：10K 步时即达 92.0%（vs Qwen3-VL-8B 的 82.0%），收敛速度极快

零样本真实机器人实验

在真实机器人上验证了四大场景的零样本泛化能力：

• 制作奶茶（10步）：机器人接收奶茶指令和详细配方，自主完成取杯、开盖、放茶包、加热水、搅拌等 10 个步骤
• 三层叠杯（6步）：将 6 个不同颜色的杯子堆叠成稳定的三层结构，强调精确空间指向和双臂协调
• 清扫垃圾（循环）：持续检测新出现的垃圾并扫入簸箕，展示循环检测-定位-清扫策略
• 货架取物（开放词汇）：从货架上拾取用户指定物品，所有物品均不在训练数据中，测试完全零样本开放词汇识别

人类扰动下的鲁棒纠正

在"捡起玉米放到盘子"任务中，人类操作员反复移动盘子和目标物体。每次扰动后，Corrector 实时检测偏差，触发 Grounder 重新定位目标物体和放置位置，然后恢复执行。尽管多次连续干扰，系统仍自主恢复并成功完成任务。

💡 个人见解 Insights

• 优势：
  • 仅 8B 参数却超越了 Gemini-Robotics-ER-1.5 和 GPT-5.4，性价比极高
  • 三维度能力统一 + 多任务平衡 RL 方案解决了异构训练干扰的核心难题
  • PGC 闭环框架实现了真正的长时程自主执行，而非停留在 QA 层面
  • 完全开源（权重+数据+代码+评估），为社区提供了完整的可复现基础设施
  • 从 EFM 到 VLA 的"少量数据微调"范式，可能改变机器人学习的数据密集型现状
• 不足：
  • 当前模型仅处理 2D 图像，缺乏原生 3D 感知（点云、深度图）
  • VLA 扩展使用轻量级动作头，推理 token 与动作生成的耦合方式有待探索
  • PGC 闭环仅在桌面操作上验证，尚未扩展到移动操作和导航
  • 150 亿 token 的数据构建成本较高，对小团队复现有一定门槛
• 启发：
  • "内化推理替代动作预训练"的范式可能成为具身智能的新标准路径
  • 多任务平衡 RL 方案对其他异构多任务学习场景也有借鉴意义
  • PGC 框架的"单模型多角色"设计思路可推广到更复杂的自主系统
  • 开源生态的完整性（从数据到评估）值得其他研究团队效仿

🔗 参考资料 References