Harness VLA：用记忆引导智能体驾驭冻结VLA实现可靠操作

📋 摘要 Abstract

语言条件操控需要精确的接触丰富控制和对语言、场景及长时程的稳健推理。端到端视觉-语言-动作（VLA）模型提供了强大的局部视觉运动技能，但它们在训练分布内的任务轨迹上训练，面对部署扰动（如语义重定向、目标重绑定、空间布局偏移和不稳定局部接触）时常常失败。LLM编码智能体提供了互补的语义和组合推理能力，但纯分析原语在不规则抓取、受限放置和关节物体交互方面力不从心。

本文提出 Harness VLA，一个记忆增强的智能体框架，将冻结的VLA暴露为可重试的接触丰富原语，并将其与一个小型固定的分析原语库组合，用于接地、暂存、运输、导航和释放。框架不扩展技能库，而是从任务特定的执行轨迹、全局成功规则和失败模型中学习这些固定原语的操作范围。通过将语义重接地、非接触执行和VLA重暂存提升到规划器，同时保留冻结VLA用于局部接触丰富阶段，Harness VLA在不微调的情况下将预训练VLA扩展到原始轨迹分布之外。

🔍 研究背景 Background

机器人操作的长期目标是构建一个能在变化的物体、布局和执行体上可靠执行自由形式自然语言指令的系统。当前两大主流范式从相反方向接近这一目标：

• 端到端VLA模型（如 OpenVLA、π₀、π₀.₅、NORA、AtomVLA）：直接从机器人轨迹学习接触丰富的视觉运动控制。优势在于局部图像条件接触（抓取不规则物体、精密放置），但弱点是在训练轨迹分布之外的部署——面对语义重定向或布局偏移时，模型会重复训练时的熟悉行为，而非遵循新指令。
• LLM编码智能体（如 Code as Policies、ProgPrompt、RATS、Cap-X）：利用语言模型推理组合显式感知和控制API。提供语义和组合推理，但纯分析原语在不规则抓取和关节物体交互方面表现不佳。
• 核心矛盾：单体VLA将语言接地、长时程组合和低级控制全部吸收在一个策略中；编码智能体则必须通过手工设计或智能体生成的API来实现物理精细交互。

Harness VLA 的核心洞察是：不扩展原语库，而是让智能体学习如何编排一个固定的、小型的原语集合。用分析原语处理非接触结构（运输、暂存、姿态调整），仅在局部接触丰富阶段调用冻结的VLA。

⚙️ 方法论 Methodology

统一原语接口

原语库 𝒫 是暴露给规划器的唯一动作接口，包含两类原语：

• 解析原语（6个）：确定性的、基于模型的控制器，无需训练数据
  • move_to：复合原语，使用嵌入式求解器将末端执行器移动到世界坐标系目标
  • move_pose：复合原语，移动末端执行器同时协变姿态变量
  • rotate_wrist / rotate_pitch：原子原语，驱动腕部偏航/俯仰
  • set_gripper / release：原子原语，控制夹爪开合
• VLA原语（1个）：vla_act — 学习的策略调用，将提示和实时相机映射到动作块，用于局部接触丰富行为（抓取、受限放置、按钮按压、抽屉操作等）

智能体执行循环

采用REPL风格的交互式执行循环，分为两个阶段：

• 探索引导阶段：在单个参考任务实例上，智能体自主与环境交互发现可行方案。规划器反复试验不同的暂存顺序、接触前姿态、vla_act调用时机。成功后将经验抽象为两个记忆模块：
  • 任务特定记忆：存储成功的原语组合JSONL轨迹，用符号感知查询替换具体空间坐标以实现跨布局复用
  • 全局记忆：聚合成功规则（最优提示策略）和失败模型（空抓取检测、误判成功检测）
• 部署评估阶段：禁用重置原语，缩短步数预算。规划器从任务特定记忆中检索预计算轨迹，结合实时RGB-D观测进行动态接地，参考全局记忆中的成功/失败模型执行轨迹。

核心设计哲学

Harness VLA 将VLA从单体轨迹策略转换为可复用的接触专家：规划器处理语义接地、空间重绑定、导航、重暂存和长时程组合；VLA仅负责局部接触丰富阶段。关键在于 不添加更多技能，而是教会规划器每个固定原语的操作范围。

📊 关键结果 Key Results

在四个基准家族上评估：桌面操作（LIBERO、LIBERO-Pro）、家庭厨房（RoboCasa365）和双臂操作（RoboTwin C2R）。

标准LIBERO：保持竞争力

在标准LIBERO上保持96.0%的竞争性表现，表明框架不会损害分布内性能。

LIBERO-Pro：扰动下大幅提升

关键亮点：相比最强基线RATS提升38.6个百分点。现有端到端VLA模型在这些分布偏移下急剧退化（OpenVLA、π₀、NORA均为0%），而Harness VLA通过规划器级别的语义重接地显著恢复了性能。

RoboCasa365：家庭厨房场景

在家庭厨房场景中，Codex实例化版本相比RLDX-1提升25.4个百分点。规划器处理导航、暂存和局部失败后的重暂存，冻结VLA保持为局部接触丰富原语。

RoboTwin C2R：零样本清洁到随机化迁移

三大关键发现

• 发现1：规划器级语义重接地恢复任务条件行为 — 当任务描述重定向目标而视觉场景相似时，RLinf重复标准行为而非遵循新指令。Harness VLA通过规划器解析任务描述、从实时RGB-D观测中确定当前接触目标，使用解析原语进行暂存和重定位。
• 发现2：规划器暂存的VLA调用提升冻结策略可靠性 — 规划器将vla_act视为可重暂存和重试的局部接触丰富原语。少量规划器选择的调用就已超过对应冻结策略基线，额外调用进一步提升较长或接触密集任务的成功率。
• 发现3：解析原语将非接触执行与接触丰富控制分离 — 在LIBERO中，解析原语占调用的84.2%，vla_act仅占15.8%；在RoboTwin C2R中，vla_act升至47.4%，反映了双臂抓取的更高接触需求。

💡 个人见解 Insights

Harness VLA 提出了一种非常优雅的范式转换：不再追求更大的端到端模型或更丰富的技能库，而是通过智能编排一个固定的、小型的原语集合来释放冻结VLA的潜力。这种"不对称分层"的设计哲学值得深入思考。

• 优势：
  • 无需微调VLA——将预训练VLA从单体策略转换为可复用的接触专家，大幅降低部署成本
  • 固定原语库——不需要在部署时扩展技能库，降低了系统复杂度和验证难度
  • 记忆引导的重试机制——通过任务特定记忆和全局记忆实现高效的few-shot泛化
  • 跨基准的一致性提升——在桌面、厨房、双臂三个不同场景上均取得显著改进
• 不足：
  • 规划器与低级VLA之间存在开放反馈循环——缺乏闭环奖励信号的联合优化
  • 缺少精细图像描述——在高度杂乱的长时程任务中限制了结构推理能力
  • 依赖LLM规划器（Codex/Claude Code）——推理成本较高，实时性可能受限
  • 目前仅在仿真环境验证——真实机器人部署的效果有待验证
• 启发：
  • VLA不应被当作万能控制器——将其定位为"接触专家"可能是更实际的工程范式
  • 固定原语库 + 智能编排 > 更大的技能库——这一发现对机器人技能学习社区有重要启示
  • 与自动技能发现系统（如ASPIRE）结合是很有前景的未来方向
  • 记忆模块的设计（任务特定 vs 全局）为few-shot机器人学习提供了新的架构思路

🔗 参考资料 References