← 返回首页
🤖 具身智能

分析概念中心记忆：面向长时程具身操作的智能体记忆框架

Analytic Concept-Centric Memory for Agentic Embodied Manipulation

📅 2026-07-05 🏛️ arXiv ✍️ Mingyang Sun, Xiujian Liang, Jiude Wei, Qichen He, Donglin Wang, Cewu Lu, Jianhua Sun 🏷️ cs.RO, cs.AI ⏱️ 约 8 分钟

📋 摘要 Abstract

分析概念中心记忆框架概览
Figure 1: 分析概念中心记忆系统概览。稳定的语义和模板库提供可复用先验知识，而动态的物体、场景、转移和技能记忆存储具体的实例、演化状态和动作效果。运行时，智能体检索相关条目来支撑子任务执行和技能选择，然后将执行结果写回记忆持续更新。

长时程具身操作要求智能体能够记忆持久物体、跟踪变化的场景状态，并复用先前的交互知识。然而，现有智能体记忆通常以非结构化的历史记录或基于嵌入的表示存储，难以高效检索与操作相关的物体部件、物理状态、动作效果和可执行技能。

本文提出了一种分析概念中心记忆（Analytic Concept-Centric Memory, ACM）框架，将经验围绕结构化的分析概念组织：物体通过语义部件、参数化模板、落地位姿、可供性和操作状态来表示，并进一步连接物体记忆与场景记忆，通过转移记忆记录动作引起的状态变化，通过技能记忆实现模板驱动和策略驱动的执行。

在运行时，智能体执行结构化的粗到精检索，识别相关的物体、状态、转移和技能，支持状态一致的推理和技能复用。实验表明，该方法在记忆依赖操作、关节物体泛化、真实世界评估和消融实验中，均优于非结构化和基于嵌入的记忆基线。

💡 一句话总结

将具身操作记忆从「记录发生了什么」升级为「理解物体结构和动作效果」，通过分析概念实现精确检索和跨物体技能复用。

🔍 研究背景 Background

具身智能体在执行长时程操作任务时面临一个核心挑战：如何有效记忆和利用过往经验。当前主流方法存在两个关键局限：

  • 端到端VLA策略（如 π₀.₅、OpenVLA）提供强大的视觉运动执行能力，但将任务推理和记忆完全隐式化，缺乏对物体结构和状态变化的显式建模
  • 智能体系统（如 SayCan、Code as Policies）使规划和工具使用显式化，但记忆通常局限于短期交互历史、隐式上下文窗口或非结构化检索机制
  • 现有记忆方案（如 MemVLA、MemER）虽然引入了记忆机制，但主要存储视觉嵌入或关键帧，缺乏对物体部件、可供性和动作效果的显式建模

这些局限导致智能体在长时程任务中频繁出现以下问题：重复发现同一物体、丢失状态变化追踪、面对结构相似物体时无法利用先前经验。

⚙️ 方法论 Methodology

感知与分析概念落地流程
Figure 2: 感知与分析概念落地流程。智能体调用视觉基础模型和分析估计器作为工具，将观测转换为可执行的分析概念。VLM引导的结构识别和SAM分割提供物体和部件掩码，位姿和参数估计工具将匹配的模板实例化为落地的部件概念。

ACM框架的核心思想是：操作相关的记忆应围绕结构化的物体概念组织，而非原始观测或扁平的经验记录。框架包含六个记忆组件：

稳定先验知识

  • 语义库 M_sem：存储模板的自然语言概要，包括描述、交互可供性和功能用途，为语言级别的模板选择提供接口
  • 模板库 M_temp：存储可复用的参数化分析模板，定义有效参数空间和支持的操作功能集合

动态经验记忆

  • 物体记忆 M_obj：维护环境中落地的物体级分析概念，包含持久身份、语义部件参数、位姿、可供性和支持的操作模板
  • 场景记忆 M_scene：以图结构跟踪演化环境状态，节点对应物体实例，边编码空间、可见性、包含、支撑和状态关系
  • 转移记忆 M_trans：存储动作引起的状态变化，将动作效果直接链接到物体记忆的分析概念实例
  • 技能记忆 M_skill：存储可执行程序，支持模板驱动技能（绑定到具体部件）和策略驱动技能（调用学习的VLA策略）

运行时检索与执行

运行时，智能体执行粗到精检索：粗检索识别候选类别、模板和操作上下文；精检索使用类别、部件和可供性一致性硬过滤，再基于几何、位姿、场景状态、转移适用性和技能统计进行排序。检索完成后，智能体检查候选技能的前置条件，利用转移记忆估计预期效果，选择可执行技能并写回执行结果。

📊 关键结果 Key Results

实验结果
Figure 3: 实验结果对比。左图为RMBench上各方法的成功率对比，右图为真实世界任务中的检索效率分析。

记忆依赖操作（RMBench）

在RMBench的9个操作任务上，ACM框架取得了最优整体性能：

任务 DP π₀.₅ Mem-0 Mem-VLA MemER ACM(CS) ACM(DP)
Rearrange Blocks0%13%89%20%24%95%90%
Put Back0%11%90%35%42%86%92%
Swap Blocks11%24%67%42%51%74%72%
Swap T20%15%14%55%60%73%85%
Battery Try10%16%28%12%14%45%51%
Rank Try10%6%18%0%2%26%29%
Cover Blocks0%0%68%31%25%64%69%
总平均7%12%53%28%31%66%70%

概念泛化能力

在PartNet-Mobility上的跨实例和跨物体转移实验中，ACM在所有类别上均超越基线：

  • 跨实例转移：微波炉 52.2%（+2.5%）、储物家具 60.3%（+7.0%）、冰箱 45.9%（+5.1%）
  • 跨物体转移（更具挑战性）：洗衣机 30.4%（+8.1%）、厨房锅 15.5%（+3.1%）、保险柜 50.6%（+10.6%）

真实世界评估

在5个真实桌面操作任务中，ACM将平均成功率从56%提升至84%，检索准确率从68%提升至98%，检索效率（候选检查次数）从4.5降至1.3。

LLM敏感性分析

消融实验表明，推理LLM的选择影响任务性能：GPT-5.5（69% SR）、GPT-4o（67%）、Gemini-3.1-pro（65%）、Qwen-3.5（61%）。但物体重识别准确率相对稳定（75-80%），表明结构化分析概念表示本身提供了鲁棒的身份解析能力。

🏆 核心发现

ACM框架通过将物体记忆从「记录发生了什么」升级为「理解物体结构和动作效果」，在记忆依赖操作任务上实现了70%的成功率（vs 最佳基线53%），在真实世界任务中将检索准确率提升至98%，并展现出显著的跨物体技能复用能力。

💡 个人见解 Insights

这篇论文的核心贡献在于将「记忆」从一个被动的信息存储机制升级为一个主动的、结构化的知识组织系统。以下是几个值得深入思考的点：

  • 优势 — 结构化记忆的范式转变：不同于将记忆视为「历史回放」的传统思路，ACM将记忆组织为「物体概念 + 动作效果 + 可执行技能」的三层结构，使得检索从「找相似的」变为「找相关的」，这是一个重要的范式转变
  • 优势 — 模板与策略的统一：技能记忆同时支持模板驱动（显式几何/物理约束）和策略驱动（学习的VLA策略）两种执行方式，为不同类型的操作任务提供了灵活的执行后端
  • 不足 — 模板库的扩展性：当前框架依赖预定义的分析模板库，对于高度可变形物体或全新物体类别，模板匹配可能失败。论文也承认这是未来工作的方向
  • 不足 — 感知流水线的鲁棒性：框架依赖多个视觉基础模型（SAM、FoundationPose等）的级联输出，感知噪声可能在记忆构建和检索中累积
  • 启发 — 记忆即知识图谱：ACM的结构化记忆本质上是一个领域特定的知识图谱，将物体-部件-可供性-动作-效果组织为可推理的结构。这一思路可推广到其他需要长期记忆的智能体系统

🔗 参考资料 References

📄

查看原文 View Original Paper

arXiv: 2606.29774
📥

下载 PDF Download PDF

arXiv PDF
🌐

HTML 版本 View HTML

arXiv HTML (实验性)