← 返回首页
🤖 具身智能

EvolveNav:自进化记忆驱动的零样本目标导航

EvolveNav: Proactive Preflection and Self-Evolving Memory for Zero-Shot Object Goal Navigation

📅 2026-06-17 ✍️ Qi Chai, Wenhao Shen, Nanjie Yao, Yue Xia, Kaiyong Zhao, Jie Ma, Guosheng Lin, Hao Wang 🏷️ cs.AI, cs.RO ⏱️ 约 8 分钟

📋 摘要 Abstract

EvolveNav框架概览
Figure 1: EvolveNav方法对比。左侧展示了本文方法的核心流程:(1) 从历史轨迹中学习,(2) 动态更新演化规则,(3) 在导航过程中通过预反思机制主动避免规则冲突的房间,(4) 持续从轨迹中进化规则库。右侧展示了基线方法依赖被动反应导致的低效探索。

零样本目标导航(Zero-Shot Object-Goal Navigation, ZS-OGN)要求具身智能体在无任何先验训练的情况下探索并定位目标物体。现有方法虽然利用基础模型(如LLM/VLM)进行语义规划,但通常依赖静态先验知识,缺乏自适应能力,导致重复犯错和高昂的试错成本。

本文提出了一个自进化的ZS-OGN框架——EvolveNav,实现了测试时的持续改进。核心创新包括:(1) 构建智能体规则记忆,从过去的导航轨迹中提取可操作的知识;(2) 基于上置信界(UCB)的检索策略,平衡语义相关性和历史成功率来选择有效规则;(3) 记忆引导的预反思模块,在执行动作前预测潜在结果,减少低效探索。

💡 一句话总结

EvolveNav通过"从经验中学习规则+在行动前预判风险"的双循环机制,让零样本导航智能体在测试时自我进化,在MP3D基准上实现了49.0%的成功率,比最强基线提升4.5个百分点。

🔍 研究背景 Background

目标导航(Object-Goal Navigation, OGN)是具身智能的基础任务之一,要求智能体在未知环境中感知、推理并行动,找到指定类别的目标物体。现有方法主要分为两类:

  • 基于训练的方法:依赖强化学习(RL)或模仿学习(IL),需要大量数据集或模拟训练。存在样本效率低和泛化能力差的问题。
  • 免训练方法(Zero-Shot):利用LLM/VLM作为语义规划器,无需任务特定训练。但基础模型只提供固定的语义先验,无法适应实时反馈,容易重复犯错。

另一个关键限制是试错成本高昂。在有限的步数预算下,每个动作都很昂贵。现有方法通常依赖事后纠正——错误只在执行后才被检测到,导致步数浪费。因此,本文的核心挑战是:如何在有限的测试时步数预算内,同时实现在线自适应和动作预判。

方法框架图
Figure 2: EvolveNav架构概览。系统由两个核心组件构成:(左) 单次导航内的预反思探索——智能体评估候选前沿,通过LLM检索规则进行预反思,评估风险以选择最优方向;(右) 多次导航间的规则自演化——每次导航结束后,从轨迹历史中蒸馏新规则,通过UCB算法更新规则权重。

⚙️ 方法论 Methodology

EvolveNav的设计哲学是将导航转化为一个持续的自我改进过程:智能体从过去的成功和失败中学习可操作的导航规则,并在探索中利用这些知识主动避免低价值决策。

1. 空间建模与低级控制

在每个时间步,智能体利用自我中心RGB-D观测和里程计,将3D深度数据增量投影到全局坐标系,动态维护一个2D占据栅格地图。基于此地图,系统持续提取候选前沿(frontier)——已知自由空间与未知区域的几何边界。低级导航控制器将智能体导航到目标航点,仅在必要时调用LLM以最小化API调用。

2. 自演化智能体规则记忆

这是本文的核心创新。每次导航结束后(无论成功或失败),系统分析完整轨迹并执行两阶段规则生成流程:

  • 信用分配:基于信息势理论,计算每一步的复合语义相似度得分,量化该步对最终结果的贡献。通过softmax归一化得到规则的初始支持分数。
  • 规则蒸馏:LLM回顾全局轨迹,隔离关键决策步骤;然后分析局部观测和决策上下文,合成可复用的导航规则。
  • UCB管理:将规则检索建模为多臂老虎机问题,通过UCB策略平衡已验证规则的利用(exploitation)和新规则的探索(exploration)。

3. 记忆引导的预反思

在每个决策阶段,系统查询规则记忆库,检索Top-K最相关经验规则。LLM对每个候选前沿进行失败预测:综合注入规则与当前观测,评估潜在风险。这种强制性风险评估过滤掉欺骗性路径,使LLM在物理执行前就能规避低价值或高风险动作——将导航从被动纠正转变为主动风险规避。

📊 关键结果 Key Results

作者在两个标准ObjectNav基准上进行了广泛实验:HM3D(2000个评估回合,20个场景,6个目标类别)和MP3D(2195个回合,11个场景,21个目标类别)。

定量评估

EvolveNav在两个基准上均达到了零样本方法的最先进性能:

  • HM3D基准:成功率(SR)67.3%,SPL 33.9%。超越MSGNav和ASCENT等最新框架。
  • MP3D基准:成功率(SR)49.0%,SPL 19.1%。在最具挑战性的MP3D数据集上,绝对提升4.5% SR和3.8% SPL。

MP3D上的显著性能提升尤为关键——该数据集具有更大的空间规模和复杂的多层布局。先前零样本方法从HM3D迁移到更复杂的场景时经常出现严重性能下降,而EvolveNav的自演化规则记忆有效弥合了这一泛化鸿沟。

定性对比
Figure 4: EvolveNav与ASCENT在MP3D场景中的轨迹对比。(a)找盆栽植物、(b)找床头柜、(c)找桌子。ASCENT的轨迹明显更曲折,频繁被相邻小房间和窄走廊干扰;而EvolveNav主动观察并在狭窄通道入口处重新定向,规划出更直接的全局最优路线。

消融实验

消融实验验证了两个核心模块的有效性:

  • 预反思模块:在MP3D上将SR从43.9%提升至47.4%(+3.5%),验证了主动风险规避的显著效果。
  • 记忆演化模块:在MP3D上将SR从43.9%提升至48.3%(+4.5%),证明了经验积累对泛化的重要性。
  • LLM主干消融:使用Qwen2.5-7B、Qwen3-8B、Qwen3.5-9B的性能差异极小(约67.0%-67.3%),说明框架对LLM规模不敏感——决策主要由规则记忆驱动而非模型能力。
🏆 核心发现

EvolveNav在MP3D上实现49.0% SR,比最强零样本基线ASCENT提升4.5个百分点。预反思和记忆演化模块分别贡献了3.5%和4.5%的提升,二者结合达到最优。框架对LLM主干规模不敏感,表明决策质量主要来自自演化的规则记忆而非基础模型能力。

💡 个人见解 Insights

EvolveNav提供了一个优雅的思路:将具身导航中的"经验积累"形式化为规则提取与UCB管理的闭环系统。这不仅是对现有免训练方法的改进,更揭示了具身智能中"在线学习"的巨大潜力。

  • 优势:完全免训练、可在测试时持续改进、对LLM规模不敏感、在复杂场景中泛化能力强。UCB机制优雅地平衡了利用已验证规则和探索新规则。
  • 不足:依赖2D视觉基础模型,持续的2D检测错误可能导致导航失败;对非常规布局(如厨房里放床)可能陷入低效探索循环。未来可通过多视角验证或主动感知策略改进。
  • 启发:"预反思"(preflection)概念值得推广——在物理世界中,先预测后果再行动比事后纠正要高效得多。这对于机器人操作、自动驾驶等高试错成本场景都有启发意义。此外,将导航经验形式化为可检索规则的思路,为具身智能中的终身学习(lifelong learning)提供了新范式。

🔗 参考资料 References