AutoSERL: 仅需一次示教即可实现真实世界机器人强化学习

📋 摘要 Abstract

**Figure 1:** AutoSERL框架概览。包含三个核心机制：滑动窗口干预（引导机器人沿示教轨迹运动）、安全恢复机制（检测卡住状态并回放示教轨迹恢复）以及干预终止准则（策略独立完成后自动禁用干预）。

在物理硬件上学习有效的机器人控制策略面临两大核心挑战：数据采集成本高昂和奖励函数设计困难。先前的工作尝试将示教数据融入强化学习（RL），但要么需要大量示教轨迹，要么依赖训练过程中持续的人工干预。为解决这些问题，本文提出了AutoSERL框架，仅利用一次示教轨迹即可完全自动化真实世界机器人RL的干预过程。

AutoSERL包含三个互补机制：滑动窗口干预持续引导探索以避免局部最优和不安全偏离；安全恢复机制通过预定义的轨迹恢复点检测并纠正失败状态；干预终止准则在策略能独立完成任务后自动禁用引导，保留RL的探索优势。在两个机器人平台上的六个接触密集操作任务中，AutoSERL在所有任务上均优于使用20次示教的SERL、行为克隆和MILES方法，插入任务达到100%成功率，同时匹配需要人工干预的HIL-SERL性能。

💡 一句话总结

仅需一次示教，通过自动化的滑动窗口引导+安全恢复+干预终止三重机制，即可在真实机器人上实现媲美人工监督的强化学习效果，彻底摆脱人工干预瓶颈。

🔍 研究背景 Background

强化学习在模拟环境中取得了巨大成功，但在物理机器人上的部署仍面临两大根本性挑战：一是真实世界探索存在安全风险（不受控的运动可能损坏硬件）；二是无模型RL的样本效率低下，尤其在接触密集的任务中，成功状态仅占据极小的状态空间。

近年来，HIL-SERL等方法通过引入人工干预来解决这些问题——人类操作员实时监控机器人并在其进入死锁或不安全状态时进行远程操控。虽然有效，但这种范式存在严重的可扩展性瓶颈：

认知疲劳：人工操作员需要持续保持注意力，训练时间越长效率越低
响应延迟：人类反应时间不一致，可能错过最佳干预时机
高昂成本：每训练小时的人力成本高，限制了训练规模
核心问题：能否保留人工干预训练的优势，同时消除对持续人工干预的需求？

⚙️ 方法论 Methodology

AutoSERL基于SERL框架构建，通过分析HIL-SERL中人工干预的实际需求场景，设计了三个自动化替代机制。训练前仅需采集一条示教轨迹，并在其上定义两个恢复点。

机制一：滑动窗口干预（Sliding Window Intervention）

针对三种需要干预的情况——局部最优收敛、Q值估计错误和环境障碍物——滑动窗口机制在每个时间步计算末端执行器与窗口内示教轨迹点的距离。当距离超过阈值时，通过方向检查（夹角≤90°）确保只引导机器人向前运动，避免将其拉回已访问位置。由于示教轨迹在采集时已保持安全距离，该机制天然具备避障能力。

机制二：安全恢复机制（Safety Recovery Mechanism）

针对机器人在交互物体附近卡住的残余风险，系统维护最近若干步的最近轨迹点。当检测到停滞（最近点在恢复区间内长时间不变），先用运动规划将机器人引导至安全恢复点，再回放示教轨迹中从安全点到接触点的片段，恢复到可继续训练的状态。

机制三：干预终止准则（Intervention Termination）

示教轨迹不一定是最优的，持续干预会抑制RL的探索能力。当某个episode中干预次数低于阈值且任务成功完成时，系统自动禁用所有后续干预，让策略充分利用RL的探索优势自我优化。

**Figure 3:** 六个实验任务概览。涵盖三类接触密集操作：插入任务（USB插入、插头插入）、悬挂任务（订书机悬挂、衣架悬挂、勺子悬挂）和铰链任务（用钩子拉开抽屉）。

📊 关键结果 Key Results

训练效率对比

在相同训练时间预算下，AutoSERL在所有六个任务上均显著优于SERL。最令人瞩目的是，在USB插入和插头插入任务中，AutoSERL仅需8分钟训练即可达到50/50（100%）成功率，而SERL在同一时间内分别为20/50和0/50。

任务	训练时间(min)	SERL成功率	AutoSERL成功率
USB插入	8	20/50	50/50 ✓
插头插入	8	0/50	50/50 ✓
衣架悬挂	33	0/50	50/50 ✓
订书机悬挂	25	6/50	50/50 ✓
勺子悬挂	35	0/50	50/50 ✓
抽屉拉开	45	0/50	50/50 ✓