FACTR 2: 无需力传感器的商品机械臂力感知学习

🎯 摘要

接触丰富的操作任务需要力感知能力，但许多机械臂因成本高昂而缺乏专用力传感器。FACTR 2 提出了两个互补的方法：

NEXT（Neural External Torque Estimation）：一种数据驱动的外部关节力矩估计方法，仅需 10 分钟自由运动数据、1 分钟训练，即可在无力传感器的机械臂上产生与专用传感器相当的估计质量
FIRST（Force-Informed Re-Sampling Training）：一种行为克隆方法，利用力矩估计将演示分割为自由空间、预接触和接触阶段，并在训练时上采样接触相关片段，五个长时程任务上超越基线 17%+

两者结合，让 $2,500 的低成本机械臂也能拥有与 $30,000 高端臂相当的力感知能力。

**Figure 1:** FACTR 2 方法概览。(a) NEXT 仅用 10 分钟自由运动数据估计外部关节力矩，无需力传感器或系统辨识，支持 Piper、YAM、Nero 等低成本臂的力反馈遥操作。(b) FIRST 利用估计的力矩将演示分割为自由空间、预接触和接触阶段，在训练时上采样接触相关片段以提升策略性能。

❓ 解决什么问题

机器人操作中一个核心矛盾：

许多日常操作任务（插入、紧固、柔性物体处理）需要精确的力感知控制，但大多数商品机械臂没有内置力传感器。

现有方案的困境：

高端力/力矩传感器（如 ATI Gamma）价格昂贵，通常只有 Franka、KUKA 等高端臂才有
改装传感器成本可能超过机械臂本身
低成本替代品（如 CoinFT、ReSkin）无法承受末端执行器的大力
传统模型方法（基于解析动力学）对非线性摩擦、死区、力矩纹波等敏感

这导致一个恶性循环：无力感知 → 无法收集力感知遥操作数据 → 无法训练力感知策略 → 无法完成接触丰富任务。

🔧 方法

NEXT: 神经外部力矩估计

NEXT 的核心思想非常简洁：

外部力矩 = 测量的电机力矩 − 预测的自由空间力矩

与其用解析模型计算自由空间力矩（困难且不准确），NEXT 直接用神经网络从数据中学习：

数据收集：仅需 10 分钟无接触的自由运动轨迹（可通过遥操作、运动规划或已知轨迹回放生成）
模型架构：LSTM 序列模型，输入为关节位置、速度和目标差值的历史序列
训练：1 分钟（RTX 3090），L2 回归损失
部署：电机电流 → 电机力矩（乘以力矩常数 K）− LSTM 预测的自由空间力矩 = 外部力矩

LSTM 的时序建模能力使其能捕获传统模型难以表示的效应：迟滞、执行器动力学、摩擦记忆、控制器依赖的跟踪行为。

**Figure 2:** NEXT 部署流程。在部署时，首先从每个关节的测量电流乘以力矩常数 K 得到测量关节力矩，然后用在自由空间数据上训练的 LSTM 估计自由空间力矩，两者相减得到外部关节力矩。

FIRST: 力感知重采样训练

FIRST 的关键洞察：

策略失败集中在接触附近——预接触阶段需要精确对齐，接触阶段需要受控交互和精细修正。

具体步骤：

阶段标注：利用 NEXT 估计的外部力矩，通过迟滞阈值将轨迹标注为自由空间（F）、预接触（PC）和接触（C）三个阶段
加权重采样：给预接触和接触阶段分配更高的采样权重（w_PC, w_C > w_F），在每个 mini-batch 中增加接触相关样本的比例
策略训练：使用 flow-matching 策略（条件速度场），动作块大小为 30

**Figure 7:** 自动阶段标注过程。利用 NEXT 估计的力矩通过迟滞阈值识别接触起始点，然后将接触前 F 帧标记为预接触阶段。

📊 实验

任务设置

五个长时程、接触丰富的双臂操作任务：

LEGO Assembly：LEGO 积木组装
NIST Belt：皮带传送+插入任务
NIST Insertion：精密插入任务
Tool Clean Up：工具清理归位
Cap Screwing：拧瓶盖

每个任务收集 250 个演示，使用 AgileX Piper 双臂系统 + 4 个 RGB 相机（2 个腕部 + 2 个俯视），每个策略评估 20 次。

五个评估任务 — **Figure 3:** FIRST 评估的五个长时程接触丰富任务。每个任务包含多个阶段，许多需要精确对齐或精细的力感知调节。

外部力矩估计结果

在 Franka 机械臂上的定量评估：

方法	接触场景 L1 误差 (Nm)	自由空间 L1 误差 (Nm)
FILIC	4.395 ± 1.531	2.460 ± 1.358
扰动观测器	1.471 ± 0.761	2.429 ± 1.298
Franka 外部传感器	0.000 (GT)	0.449 ± 0.208
NEXT (Ours)	0.547 ± 0.348	0.414 ± 0.278

NEXT 在接触场景下 L1 误差仅 0.547 Nm，比 FILIC 低 87.6%，比扰动观测器低 62.8%。在自由空间中，NEXT 甚至比 Franka 自带的外部传感器更准确（噪声更小）。

力矩估计曲线对比 — **Figure 5:** 左：自由空间中外部关节力矩应为零，NEXT 的估计比外部传感器噪声更小、更接近零，而 FILIC 和扰动观测器存在漂移。右：接触期间，NEXT 紧密跟踪外部传感器信号，而基线方法偏差明显。

遥操作用户研究

20 名参与者在 Franka 上执行擦拭任务，5 种反馈条件：无反馈、扰动观测器、位置-位置反馈、FACTR Teleop（Franka 传感器）、FACTR Teleop + NEXT。

结果：NEXT 力反馈在易用性评分上优于所有基线，且施加的关节力矩与使用 Franka 专用传感器的 FACTR Teleop 相当——这意味着低成本臂也能获得与高端臂一样的力反馈体验。

**Figure 4:** 用户研究结果。NEXT 的外部力估计改善了遥操作体验，且与依赖专用外部力传感器的 FACTR Teleop 表现相当。更低的关节力矩对应更少的不必要用力。

FIRST 策略学习结果

在五个任务上的任务进度对比（flow-matching 策略）：

方法	LEGO	NIST Belt	NIST Insert	Tool Clean	Cap Screw	平均
Base Policy	0.588	0.408	0.700	0.520	0.560	0.555
Base + Torque	0.688	0.492	0.800	0.595	0.607	0.636
FACTR	0.688	0.508	0.800	0.580	0.627	0.641
TA-VLA	0.725	0.542	0.833	0.620	0.667	0.677
FIRST (Ours)	0.913	0.767	0.933	0.805	0.825	0.849

FIRST 平均任务进度 0.849，比最强基线 TA-VLA 高出 17.2%，比无力信息的 Base Policy 高出 29.4%。

上采样消融实验

FIRST 对不同阶段上采样的消融结果：

上采样阶段	LEGO	NIST Belt	NIST Insert	Tool Clean	Cap Screw	平均
仅接触 (C)	0.697	0.494	0.800	0.650	0.707	0.670
仅预接触 (PC)	0.913	0.767	0.933	0.805	0.673	0.818
预接触+接触 (PC+C)	0.875	0.649	0.933	0.775	0.825	0.811

有趣的发现：仅上采样预接触阶段效果最好（平均 0.818），甚至优于同时上采样预接触+接触。这说明接触前的精确对齐比接触本身的控制更关键。仅上采样接触阶段几乎无效（0.670 vs 基线 0.636）。

💡 核心洞察

核心贡献

无传感器力矩估计：NEXT 仅需 10 分钟自由运动数据和 1 分钟训练，产生比传统方法高 60-87% 精度的力矩估计
低成本臂力反馈遥操作：在 $2,500 的 Piper 上实现与 $30,000 的 Franka 相当的力反馈质量
力感知重采样训练：FIRST 通过上采样预接触和接触阶段，在五个任务上平均提升 17%+
预接触比接触更重要：消融实验揭示接触前的对齐阶段是策略成败的关键

局限性

力矩常数依赖：NEXT 的绝对力矩尺度依赖于电机力矩常数 K，如果 K 不准确需要外部传感器校准（但对遥操作和策略学习影响较小，因为前者会缩放、后者会归一化）
平台特异性：NEXT 是机器人特定的，跨臂迁移可能需要重新训练

为什么重要

这篇工作的核心价值在于民主化力感知：

力感知不再是高端机械臂的专利——$2,500 的 Piper 也能获得力反馈遥操作
数据需求极低（10 分钟自由运动），部署门槛极低（1 分钟训练）
预接触阶段的重要性发现对整个机器人学习社区都有指导意义
代码已开源，可直接应用于其他机械臂平台

对于具身智能和机器人学习领域，这意味着力感知可以成为所有机械臂的标配能力，而不是昂贵硬件的附属品。

📚 参考信息

论文：arXiv:2606.12406
项目主页：jasonjzliu.com/factr2
机构：Carnegie Mellon University, Waseda University
日期：2026-06-11