ACE：基于零样本工作流推理的具身操作智能控制

📋 摘要 Abstract

**Figure 1:** 三种机器人操作范式对比。(A)视觉-动作(VA)模型仅根据视觉观测执行底层动作，缺乏指令跟随能力；(B)视觉-语言-动作(VLA)模型可条件化于语言，但在复杂长时程任务上缺乏鲁棒的零样本推理能力；(C)ACE框架将推理与物理控制解耦，智能体先将复杂指令分解为显式语义子目标，再由下游VA策略可靠执行。

开放式桌面操作要求智能体不仅能理解自然语言，还能适应动态环境和执行失败。本文提出ACE（Agentic Control for Embodied Manipulation），一个用于桌面拾取放置的零样本工作流推理框架。与依赖直接底层动作映射不同，ACE将智能体工作流推理与两个面向机器人的可执行技能相结合：视觉接地接口和可复用的拾取放置原语。

为了桥接语义推理和物理控制，活跃子目标被接地为掩码中介的视觉-动作接口。这个统一的8位灰度掩码（127表示拾取目标，255表示放置目标，0表示背景）在时间上被跟踪、暴露供人类验证，并最终传递给任务无关的下游策略执行。ACE通过多时间尺度记忆在闭环中运行，执行后自动验证子目标是否成功，根据结果推进、重试、修复或重新规划。

💡 一句话总结

ACE证明了将推理与控制解耦是实现零样本具身操作的有效策略——智能体负责"做什么"，掩码接口负责"怎么做"，人类验证确保"做对了"。

🔍 研究背景 Background

自然语言为开放式机器人控制提供了直观接口，但这种灵活性使执行变得内在困难。指令常常欠指定，任务约束可能在执行开始后才显现。传统操作系统依赖任务特定策略或固定规则库，在目标显著变化时难以泛化。

端到端方法的局限：直接从语言映射到动作的VLA模型（如π₀.₅）在逻辑复杂、需要组合推理的长时程任务上表现不佳
核心洞察：开放式操作不应被视为每个任务的策略学习问题，而应被视为工作流推理问题
解耦设计的价值：将高层认知规划与底层物理控制分离，使系统可以在任务级别实现零样本泛化，而无需任务特定的底层训练

⚙️ 方法论 Methodology

**Figure 2:** ACE框架概览。系统通过零样本闭环架构将开放式指令转化为物理动作：(1)智能体推理与规划将复杂指令分解为显式语义子目标；(2)掩码中介接口将子目标接地为可视化掩码，用户可验证；(3)下游执行使用任务无关的VA策略进行物理操作；(4)多时间尺度记忆支持整个闭环过程。

零样本闭环工作流推理

ACE的核心智能在于无需任务特定训练即可规划和适应。给定指令u和上下文c，智能体规划器生成零样本工作流W=(w₁, w₂, ..., wK)，每个步骤wk捕获一个显式语义子目标而非原始运动命令。系统支持在线重新规划：W'=R(W, Δ)，其中Δ包括新观测到的状态、用户反馈或执行后结果。重新规划可以是局部的（修改当前子目标的接地）或全局的（重新生成剩余工作流）。

掩码中介视觉-动作接口

第一个外部技能MaskInterface实现了掩码中介的视觉-动作接口。对于每个活跃工作流步骤wk，系统预测一个可执行的视觉目标Mk∈{0,127,255}^(H×W)。每个像素值严格编码其操作角色：127表示拾取目标，255表示放置目标，0表示背景。这个接口统一了三个关键执行阶段：人类验证（执行前向用户展示掩码）、持久跟踪（初始化跟踪器并在后续帧更新）、任务无关执行（将跟踪的掩码直接传递给下游VA策略）。

多时间尺度记忆

ACE作为异步系统运行，规划、跟踪、渲染和用户交互在不同时间尺度上进行。为了协调这些过程并支持执行后验证，ACE依赖于由多时间尺度记忆架构支持的共享场景状态管理器：

实时执行记忆：在快速时间尺度上维护当前工作流位置、活跃掩码、跟踪器状态和执行进度
任务范围语义-视觉记忆：维护物体名称、别名、角色和视觉关联，支持跨用户修正的身份一致性
外观参考记忆：存储图像特征或裁剪图，支持目标离开视野时的身份保持重新获取
对话上下文记忆：维护有界对话历史，允许规划器在当前任务设置中解释用户反馈

📊 关键结果 Key Results

ACE在逻辑复杂的桌面任务上进行了评估，包括语义公式组装（多步顺序操作，零步推理特定数字和运算符方块来物理构建数学方程）和约束检索（评估逻辑或数值约束以识别特定目标物体）。

主要结果

方法	公式组装 SR	公式组装 FGS	公式组装 GA	约束检索 SR	约束检索 GA
ACT (模仿学习)	0.0%	3.2	–	0.0%	–
π₀.₅ (端到端VLA)	0.0%	3.0	–	0.0%	–
ACE	50.0%	17.8	90.0%	70.0%	90.0%

消融实验

消融设置	公式组装 SR	约束检索 SR
ACE (无智能体规划器)	0.0%	0.0%
ACE (无人类验证)	30.0%	20.0%
ACE (完整框架)	50.0%	70.0%

🏆 核心发现

(1) 端到端基线（ACT和π₀.₅）在这些逻辑复杂任务上完全失败（0%成功率），而ACE达到50%/70%；(2) 掩码仅表示（90%抓取成功率）远优于掩码+原始RGB图像（30%），证明掩码接口有效过滤了环境噪声；(3) 人类验证将成功率从30%提升至50%（公式组装）和20%提升至70%（约束检索），验证了可验证接口的实用价值。

💡 个人见解 Insights

ACE的核心贡献在于提供了一种与端到端VLA方法截然不同的范式：通过将推理与控制解耦，用显式的工作流推理替代隐式的策略学习，在低数据量场景下展现出显著优势。

优势：(1) 掩码中介接口设计巧妙，统一了人类验证、持久跟踪和任务无关执行三个阶段；(2) 多时间尺度记忆架构支持闭环恢复，使系统能从执行失败中自动恢复；(3) 可解释性强，每个子目标和掩码都可以被人类检查和修正
不足：(1) 依赖人类审批引入了交互开销，限制了完全自主部署；(2) 当前仅限于拾取放置操作，扩展到更丰富的接触操作需要进一步研究；(3) 基线比较在低数据量场景下进行，VLA基线在获得更多任务级数据后可能表现更好
启发：(1) 解耦推理与控制的思路可以与VLA模型结合，用智能体做高层规划、VLA做底层执行；(2) 掩码作为中间表示的思想可以推广到其他需要桥接语义和物理的场景；(3) 这种"认知外骨骼"方法特别适合需要高可靠性和可解释性的工业应用场景

🔗 参考资料 References

📄

查看原文 View Original Paper

arXiv: 2607.04162

📥

下载 PDF Download PDF

arXiv PDF