人类触觉迁移预训练赋能灵巧机器人操作

📋 摘要 Abstract

TTP系统概览 — **Figure 1:** TTP（可迁移触觉预训练）系统概览。系统包含三个阶段：大规模人类触觉数据收集（H-Tac）、基于触觉的VLA预训练、以及下游机器人任务的后训练。通过统一的触觉-动作空间实现人类到机器人的知识迁移。

触觉感知是灵巧且接触密集型任务的关键模态，能够提供视觉无法可靠推断的精确力反馈。然而，受限于硬件和数据采集系统，现有的触觉数据集规模小、接触覆盖范围窄。同时，具备触觉模态的视觉-语言-动作（VLA）模型受限于与动力学无关的后训练，限制了下游任务的性能上限。

本文提出了 H-Tac，一个大规模触觉-动作数据集，包含 160 小时的自我中心人类视频，涵盖 300+ 个任务和 13.5 万+ 个 episode。在此基础上，提出了 TTP（Transferable Tactile Pre-Training） 系统，通过人类数据进行触觉预训练，然后迁移到机器人精细操作任务。通过统一的触觉和动作空间，TTP 在预训练和后训练阶段保持一致性，利用触觉专家模块预测未来触觉信号，显式建模接触动力学。在仿真和真实机器人上的大量实验表明，TTP 实现了卓越的性能，展现出鲁棒的泛化能力和精细操作能力。

💡 一句话总结

首个大规模人类触觉数据集 + 触觉预训练框架，让机器人通过"看人类怎么摸"学会灵巧操作，真实任务成功率从不到50%飙升至96.7%。

🔍 研究背景 Background

灵巧操作（dexterous manipulation）是机器人领域的核心挑战之一。在装配、穿线、操控易碎物品等接触密集型任务中，仅靠视觉感知远远不够——机器人需要精确的力反馈来完成精细操作。触觉传感正是提供这种能力的关键模态。

然而，当前触觉研究面临两大瓶颈：

数据瓶颈：在真实机器人上收集触觉数据既困难又昂贵。不同具身的触觉传感器硬件不统一，遥操作接触密集型任务劳动密集且难以扩展。现有人类演示数据集几乎都聚焦于视觉和动作，严重忽视了触觉模态。
模型瓶颈：标准 VLA 模型缺乏触觉感知，学到的策略主要依赖视觉线索，在接触密集场景中性能退化。即使添加触觉模态，现有方法也受限于与动力学无关的后训练阶段。

本文的核心洞察是：人类演示数据相对容易收集且可扩展，如果能让模型从大规模人类触觉数据中预训练，再迁移到机器人任务，就能突破数据和模型的双重瓶颈。

⚙️ 方法论 Methodology

1. H-Tac：大规模人类触觉数据集

H-Tac 由三个子数据集组成，总计 160 小时、300+ 任务、13.5 万+ episode：

H-Tac数据集 — **Figure 2:** H-Tac 数据集由三部分组成：(a) HOI-Tac（手-物体交互触觉数据），(b) DeskTask-Tac（桌面任务触觉数据），(c) InternData-Tac（增强触觉的仿真数据）。

HOI-Tac（106小时）：整合多个公开手-物体交互数据集（ARCTIC、DexYCB、H2O 等），通过距离阈值生成 MANO 手部网格的 778 顶点二值接触标签，再投影到 UniTacHand 的 351-taxel UV 空间作为触觉监督信号。
DeskTask-Tac（37.2小时）：自建数据采集系统，使用 RealSense 相机 + 触觉手套，支持 RawHand 和 AprilTag 两种手部重建管线，采集双臂桌面操作数据。
InternData-Tac：在 InternDataEngine 仿真管线中增加轻量触觉记录器，将接触信息投影到 MANO 手部表面生成 351 维触觉向量。

2. 统一触觉-动作空间

为弥合人类与机器人之间的具身差异，TTP 采用统一的触觉空间和动作空间：

统一触觉空间：所有触觉传感器的输出都映射到 351 维 UniTacHand UV 空间，无论底层硬件是压阻式、视触觉还是 3D 触觉传感器。
统一动作空间：预训练（人类）和后训练（机器人）使用相同维度的动作空间，确保知识迁移时不会因空间不匹配而丢失先验知识。

**Figure 3:** DeskTask-Tac 数据采集系统。使用多视角 RealSense 相机和触觉手套，以第一人称视频时间线为主轴组织触觉、手部几何和动作数据。

3. 双专家预训练架构

TTP 构建了双专家系统：动作专家生成未来动作序列，触觉专家预测未来触觉信号。这种设计鼓励模型同时平衡语义推理和物理交互，弥合高层任务理解与低层接触控制之间的鸿沟。

预训练阶段在大规模自我中心人类视频上进行，后训练阶段在下游机器人触觉任务上微调，全程保持预训练/后训练的一致性，避免分布偏移。

📊 关键结果 Key Results

仿真实验

在 LIBERO、LIBERO-plus 和 Robocasa 三个仿真基准上，TTP 在无触觉模态的环境下使用"触觉代理"（动作-本体感觉差值）保持双层优化目标。结果表明 TTP 在 LIBERO-long 套件中表现突出，在 LIBERO-plus 的语言、光照和布局泛化维度上优于基线。

仿真基准结果 — **Table 2:** 仿真基准对比结果。TTP 在多个基准上与顶级 VLA 模型持平或超越，尤其在 LIBERO-long 长程任务中表现优异。

真实机器人实验（核心亮点）

真实机器人实验覆盖多种平台（Franka 7-DoF、Realman 6-DoF）和末端执行器（Inspire 灵巧手、DexBotic 手、DM-Tac 夹爪），包含 9 个任务，涵盖精细操作、接触密集和视觉缺陷三大类。

真实机器人展示 — **Figure 8:** 真实机器人任务展示。TTP 在萝卜削皮、花瓶擦拭、薯片抓取、纸张折叠、插头插入等任务中展现出强大的精细操作能力。

任务类别	π₀.₅	π₀.₅ + 触觉	BeingH-0.5	TTP w/o 预训练	TTP (ours)
精细操作	43.2%	48.3%	57.3%	71.0%	96.7%
接触密集 & 易碎	3.3%	8.0%	9.2%	49.7%	79.2%
视觉缺陷	17.8%	17.8%	15.6%	26.7%	37.8%

真实机器人详细结果 — **Table 4:** 真实机器人实验详细结果。TTP 在所有任务类别上均大幅超越基线，精细操作类任务提升尤为显著（从 43.2% 到 96.7%）。

🏆 核心发现

1. 精细操作：TTP 在削皮、擦拭、折叠等精细任务中达到 96.7% 平均进度，比最强基线 BeingH-0.5 高出近 40 个百分点。
2. 接触密集 & 易碎：在薯片抓取等易碎物品操作中，TTP 达到 79.2% 进度，是 π₀.₅ 的 24 倍。
3. 预训练效果显著：对比 TTP w/o 预训练，触觉预训练在精细操作上提升 25.7%，在接触密集任务上提升 29.5%。
4. 跨具身迁移：统一的触觉-动作空间使人类触觉知识能有效迁移到不同机器人平台。

💡 个人见解 Insights

这篇论文在触觉感知与 VLA 模型的结合上迈出了重要一步。以下是几个值得关注的点：

数据集价值：H-Tac 是目前最大规模的人类触觉-动作数据集（160小时、13.5万 episode），开源后将极大推动触觉预训练研究。数据采集方案（DeskTask-Tac）设计精巧，支持两种手部重建管线。
统一空间设计精妙：将不同触觉传感器映射到统一的 UniTacHand UV 空间，解决了跨具身触觉表示不一致的问题。这是实现人类到机器人迁移的关键技术。
双专家架构有启发性：动作专家 + 触觉专家的设计让模型同时学习"做什么"和"感觉什么"，触觉预测目标隐式编码了接触动力学，这对于精细操作至关重要。
实验覆盖全面：从萝卜削皮到薯片抓取，从单臂到双臂，从压阻式到视触觉传感器，实验设计覆盖面广且贴近实际应用。
潜在局限：预训练阶段仍需大量计算资源；触觉代理在无触觉仿真环境中的有效性有待进一步验证；视觉缺陷类任务的提升幅度相对较小（37.8%），说明纯触觉预训练在视觉退化场景中仍有不足。

🔗 参考资料 References

📄

查看原文 View Original Paper

arXiv: 2607.01067

📥

下载 PDF Download PDF

arXiv PDF

🌐

项目主页 Project Page

beingbeyond.github.io/TTP