Cortex：双向对齐的具身智能体框架，攻克长时程操作难题

📋 摘要 Abstract

近年来，视觉-语言-动作（VLA）模型在具身智能领域展现出巨大潜力，能够直接将多模态输入映射为连续运动控制，在短时程任务中实现了出色的零样本泛化。然而，当任务的时间复杂度增加时，单体VLA模型面临马尔可夫短视的关键瓶颈——仅依赖当前观测进行反应式决策，缺乏持续的进度验证和时空记忆，导致在长时程指令执行中频繁丢失中间状态、盲目重复动作。

本文提出Cortex（Cognitive ORchestraTor EXecutor），一个双向对齐的具身智能体框架。其核心创新在于定义了一个定制化的子任务接口，将高层VLM的规划与低层VLA的执行紧密耦合。具体而言，Cortex将操作子任务标准化为32个标准技能原语，并注入可追溯性原则（如代表性物体属性和改进的轨迹可达性），实现了对4000+小时开源视频数据的自动标注和30小时仿真数据的生成。在推理阶段，通过精心设计的约束工程确保规划器与执行器之间的对齐。

🔍 研究背景 Background

VLA模型通过将连续控制重新定义为多模态序列建模，从根本上改变了具身AI的研究范式。从早期的RT-1、PaLM-E到近期的OpenVLA、π₀、GR00T等开源框架，VLA在短时程操作任务中展现出强大的零样本和跨形态泛化能力。然而，单体端到端架构受限于马尔可夫假设，在长时程任务中表现严重退化。

为解决这一问题，研究社区探索了"系统1/系统2"的层级化范式，将认知规划与反应式执行解耦。然而，现有方法存在两个核心问题：

• 语义-运动学鸿沟：早期双系统规划器（如SayCan、Code as Policies）作为"脱离实体的观察者"，输出的规划缺乏显式的实体约束，导致高层语义理解与低层运动执行之间存在严重脱节。
• 缺乏双向对齐：高层VLM在规划时未考虑低层VLA的实际能力边界，而VLA对VLM输出的鲁棒性和适应性也不足。现有工作虽然为VLA配备了记忆能力，但在规划对齐方面仍有欠缺。
• 马尔可夫短视：纯反应式执行缺乏连续的视觉成功验证，在子任务转换时容易陷入执行循环。

⚙️ 方法论 Methodology

3.1 双向对齐的子任务接口

Cortex的核心设计是将子任务（sₜ）实例化为双向对齐的接口。给定一个全局指令I（如"清洗烧杯"），接口将其分解为可执行的技能原语，如 s₁: "[Pick] the beaker from the table"。同时，引入主动更新的语义记忆 M⁽ᵗ⁾ 作为连接离散子任务的时间桥梁，聚合所有先前已完成的里程碑状态。

3.2 可扩展的元数据构建

• 开源数据标注：聚合超过4000小时的长时程操作数据（平均每条轨迹7+个子任务），来源包括AgibotWorld、Galaxea、BEHAVIOR-1K等基准。标准化32个标准技能原语，每个原语分配技能类别和严格语言模板。
• 仿真数据生成：利用RoboTwin和RMBench仿真器程序化合成最优操作序列。在专家示范采集过程中在线生成子任务标注，提取详细的仿真资产来确定物体类别和颜色，并显式纳入机器人形态描述以评估可达性。

3.3 事件平衡采样策略

标准均匀帧采样严重偏向持续执行阶段，掩盖了关键的任务边界。Cortex设计了事件平衡采样策略，将轨迹中的帧分为三种时间阶段：

• 边界转换阶段：t ∈ [tₖ - ε₁, tₖ + ε₂]，模型需要视觉验证物理完成以解决转换歧义，触发离散状态推进。
• 任务内执行阶段：模型需学习"语义耐心"，在不修改记忆状态的情况下维持当前活跃子任务。
• 尾部阶段：处理最终记忆状态，显式输出终止标记。

3.4 异步推理与约束工程

双系统异步运行：System-2以较低频率处理流式视觉观测和记忆日志，System-1实时执行运动控制。约束工程（Harness Engineering）将多样化的全局指令映射为统一的子任务接口，并通过序列匹配将VLM生成的原始子任务描述精确映射到预定义VLA技能库中的标准原语。

📊 关键结果 Key Results

开环VLM评估

在空间信息、长时程任务一致性和计数任务准确性三个维度上，Cortex的VLM（8.318分）显著超越GPT-5（6.220分）和Gemini（7.159分）等通用大模型。逐步引入各组件后性能持续提升，完整约束工程配置在步级和轨迹级评估中均达到最优。

闭环仿真评估

真实世界零样本部署

在ARX ACONE物理平台上零样本部署，设计复杂的多阶段化学实验和厨房装配工作流：

💡 个人见解 Insights

Cortex代表了具身智能从"单体端到端"向"层级化双向对齐"范式转变的重要一步。其核心洞察在于：长时程操作的关键瓶颈不是单个技能的执行能力，而是高层规划与低层执行之间的语义-运动学对齐。

• 优势：
  • 32个标准技能原语的设计既保证了通用性，又提供了足够的结构化约束，是一个优雅的工程权衡。
  • 事件平衡采样策略解决了子任务转换时的规划歧义问题，这是一个被以往工作忽视的关键细节。
  • 真实世界化学实验的零样本验证极具说服力，证明了框架的实际部署潜力。
  • 4000+小时开源视频数据的自动标注能力，展示了数据飞轮的可扩展性。
• 不足：
  • 文本记忆丢失了空间坐标和视觉细节，在大规模移动操作中可能导致物体实例对应关系中断。
  • 依赖标准视觉编码器，对高频微状态变化不敏感，在快速动态环境中仍是挑战。
  • 32个技能原语的覆盖范围是否足够应对所有真实世界场景尚需验证。
• 启发：
  • 双向对齐的思想可以推广到其他层级化系统，如导航、人机协作等领域。
  • 约束工程（Harness Engineering）作为轻量级仲裁层的设计思路，为通用智能体的部署提供了实用范式。
  • 事件平衡采样的理念对其他需要处理时序边界问题的任务（如视频理解、时序预测）也有借鉴意义。

🔗 参考资料 References