World Pilot: 用世界-动作先验引导视觉-语言-动作模型
World Pilot: Steering Vision-Language-Action Models with World-Action Priors
摘要
视觉-语言-动作（VLA）模型继承了大规模预训练的语义基础能力，在分布内操作任务上表现出色。然而，这种基础建立在静态图像-文本对上，而操作是一个连续的、接触丰富的过程，其动态特性无法被这种预训练捕获。
World Pilot 提出了一种 VLA 框架，通过两条互补路径将世界-动作模型（WAM）的先验注入策略：
- 潜在引导（Latent Steering）：在感知层注入场景演化潜在表示
- 动作引导（Action Steering）：为动作生成器提供轨迹级运动先验
在 LIBERO-Plus 零样本 OOD 基准上达到 84.7% 的 SOTA 成功率，在所有真实机器人设置中也取得最高成功率。
解决什么问题
当前 VLA 模型存在一个根本性缺陷：
图像-文本预训练提供的是静态语义，而机器人操作需要的是动态场景演化的理解。
具体表现为：
- 视角变化时性能急剧下降
- 物体几何形状改变时泛化能力差
- 接触容差变化时策略脆弱
世界-动作模型（WAM）通过视频预训练获得了场景动态演化的表示，但如何将这种能力有效注入 VLA 是一个开放问题。
方法
World Pilot 的核心是两条互补的先验注入路径：
1. 潜在引导（Latent Steering）
将场景演化潜在表示 Ztw 注入 VLM 隐状态：
- WAM 预测场景演化潜在（而非解码的未来图像）
- 通过残差交叉注意力注入 VLM 隐状态
- 添加时间嵌入标记未来场景 token
为什么用潜在而非解码图像？ 像素内容携带纹理、光照、背景等与动作无关的细节，会稀释潜在中编码的动态结构。
2. 动作引导（Action Steering）
将预期轨迹 Ãtw 压缩为单个前缀 token：
- WAM 生成粗略的动作轨迹假设
- 对齐到 VLA 动作视野并编码为单个 token
- 作为前缀注入流匹配动作生成器
为什么是单 token？ 逐步条件化会将每个输出步绑定到对应的 WAM 步，当 WAM 轨迹近似时鲁棒性较差。单 token 总结轨迹整体形状，让生成器有自由度。
3. 训练策略
- WAM 冻结，只更新 VLA 参数和轻量融合模块
- 对 WAM 条件应用 0.3 的 dropout 防止过度依赖
- 使用 clean-action 参数化的流匹配目标
实验结果
仿真实验
在 LIBERO-Plus OOD 基准上，World Pilot 达到 84.7% 的总成功率，比最强基线高 2.6 个百分点：
- Camera: 82.8%（+13.2%，最大单轴增益）
- Light: 98.6%
- Background: 96.4%
- Noise: 93.6%
真实机器人实验
在 4 个操作任务（堆叠积木、折叠毛巾、水果放盘、容器盖对齐）上，World Pilot 在所有设置中都取得最高成功率：
- ID 到 OOD 的下降控制在 20 个百分点以内
- 其他基线下降 25-50 个百分点
- 在容器盖对齐（最严格任务）中，OOD 成功率 65-70%，其他基线不超过 30%
消融实验与结论
各路径贡献
| 变体 | 成功率 | 增益 |
|---|---|---|
| ABot-M0（基线） | 80.5% | - |
| 仅潜在引导 | 83.7% | +3.2% |
| 仅动作引导 | 83.1% | +2.6% |
| 完整 World Pilot | 84.7% | +4.2% |
关键发现
- 世界模型先验已足够：即使只用视频预训练的世界模型（未做动作后训练），潜在引导仍然有效
- 潜在优于解码图像：注入潜在（84.7%）比注入解码的未来图像（83.5%）高 1.2%
- 单 token 优于逐步：单编码 token（84.7%）优于逐步编码 token（83.6%）和流初始化（84.1%）
主要贡献
- 提出 VLA + WAM 的训练配方，通过潜在引导和动作引导注入场景动态先验
- 在 LIBERO-Plus OOD 基准上达到 SOTA（84.7%）
- 在所有真实机器人设置中取得最高成功率
- 证明世界模型先验即使未经动作后训练也有效
局限性
- 依赖 WAM 覆盖：测试场景超出 WAM 视频预训练分布时，两个先验都会退化
- 改进不均匀：在 Language、Robot、Layout 轴上仍有差距
- 额外开销：每个决策步需要额外的 WAM 前向传播，限制高频反应控制的应用
未来方向
- 不确定性感知的先验门控
- WAM-VLA 联合微调
- 先验蒸馏或自适应查询以减少开销