← 返回首页
🤖 具身智能

SpatialClaw: 重新思考具身智能体的空间推理动作接口

SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning

📅 2026-06-12 ✍️ Seokju Cho, Ryo Hachiuma, Abhishek Badki et al. ⏱️ 约 10 分钟

🎯 摘要

空间推理——判断物体在哪里、如何关联、如何在 3D 中运动——是视觉语言模型（VLM）的根本挑战。工具增强的智能体通过集成感知模块来弥补这一不足，但其效果受限于动作接口的设计。

SpatialClaw 提出用代码作为动作接口：维护一个预加载了感知工具和科学库的持久化 Python 内核，让 VLM 智能体每步编写一个可执行代码单元，基于所有先前输出迭代推理。

  • 在 20 个空间推理基准上平均准确率 59.9%
  • 比最近的空间智能体高 +11.2 个百分点
  • 横跨 6 个 VLM 骨干（27B-397B），无需任何基准或模型特定适配
SpatialClaw 在 20 个基准上的表现
Figure 1: SpatialClaw 在 20 个空间推理基准上全面提升。雷达图展示 Gemma4-31B 骨干下各基准的准确率，SpatialClaw 在各类别上均优于基线。
📄 arXiv:2606.13673

❓ 研究背景

现有空间推理智能体的两种动作接口各有局限：

问题的核心不在于有什么工具，而在于如何调用工具——动作接口的设计决定了智能体的空间推理上限。

  • 单次代码执行（pySpatial 等）：智能体写一个完整 Python 程序一次性运行。必须在看到任何中间结果前就确定完整策略，无法根据中间证据调整
  • 结构化工具调用（SpaceTools 等）：通过 JSON/XML 选择预定义工具。组合操作困难，无法灵活合成工具输出或进行任务特定的计算

两者都无法支持开放式的、需要多步几何推理的复杂 3D/4D 空间推理任务。

🔧 方法论

三种动作接口对比
Figure 2: 三种动作接口对比。(a) 单次代码执行：提交完整程序后才能看到结果。(b) 结构化工具调用：通过 JSON 调用预定义工具。(c) SpatialClaw：在持久化内核中编写 Python，渲染中间证据，根据观察修正分析。

核心设计：代码即动作接口

SpatialClaw 的关键创新是将代码视为编排空间，而非一次性程序或工具分发接口：

  • 持久化 Python 内核：预加载输入帧、感知工具（SAM3、Depth Anything 3）和科学库（NumPy、SciPy、Matplotlib），所有中间结果作为普通 Python 变量跨步骤保持
  • 迭代构建-检查-修正：每步编写一个可执行代码单元，基于先前输出（文本、变量、可视化）决策下一步
  • 无需训练：零训练框架，纯靠推理时的迭代推理

感知工具套件

  • Reconstruct：基于 Depth Anything 3，返回每帧深度、相机内外参、稠密点云
  • SAM3：从文本/点/框提示生成图像或视频分割掩码
  • show()：将中间结果（掩码、深度图、标注帧）嵌入智能体上下文，支持视觉检查
  • vlm：查询独立 VLM 会话进行视觉定位或常识推理
  • ReturnAnswer()：提交最终答案

五阶段智能体循环

智能体循环
Figure 3: 迭代代码执行的智能体循环。SpatialClaw 将持久化内核包裹在五阶段循环中：规划→代码生成→代码执行→反馈组装→答案提交。
  1. 规划：独立 LLM 会话生成分析计划（不看图像，只看问题和工具文档）
  2. 代码生成：主智能体接收问题、计划、执行轨迹和先前图像，生成 Python 代码单元
  3. 代码执行：AST 静态检查→在持久化内核中执行
  4. 反馈组装：stdout、变量摘要、show() 注册的图像→追加到上下文
  5. 答案提交：ReturnAnswer() 提交答案，格式匹配则终止

系统提示的推理纪律

统一系统提示编码通用空间推理原则（非任务特定指令）：

  • 将空间结论视为需要交叉验证的声明
  • 优先度量计算而非像素级印象
  • 视觉检查工具输出（掩码、标注对象）
  • 检查数值量级，考虑可视化与计算量之间的不一致

📊 关键结果

在 20 个空间推理基准上评估，涵盖：

  • 单图空间推理（4 个）：ERQA、Omni3D、OmniSpatial、SPBench
  • 多视图空间推理（3 个）：MindCube、MMSI、SPAR-Bench
  • 视频空间 & 4D 推理（6 个）：MMSI-Video、OSI-Bench、PAI-Bench、VSI-Bench-U、VSTI-Bench、DSI-Bench
  • 通用空间推理（3 个）：BLINK、SpatialTree、ViewSpatial
  • 通用视频理解（4 个）：CV-Bench、PerceptComp、Video-MME、Video-MME-v2

主要结果

主要结果
Table 1: 6 个 VLM 骨干上的主要结果。SpatialClaw 在所有骨干上一致提升，最大增益在视频 4D 推理和多视图推理上。

关键数据（Gemma4-31B 骨干）：

类别 无工具 SpatialClaw 增益
单图空间推理 55.6 61.5 +5.9
多视图空间推理 50.2 62.5 +12.3
视频空间 & 4D 46.9 58.3 +11.4
通用空间推理 62.5 64.8 +2.3
通用视频理解 55.6 59.4 +3.8
平均（20 基准） 53.4 59.9 +6.5

动作接口对比

动作接口对比
Figure 4: SpatialClaw 与基线在 13 个元类别上的成对胜负差。SpatialClaw 在 11/13 类别上优于结构化工具调用和单次代码执行。

三种动作接口对比（均使用相同工具集，Gemma4-31B）：

接口 平均准确率
无工具（基线） 53.4
单次代码执行 55.2
结构化工具调用 56.7
SpatialClaw（持久化内核） 59.9

最大增益集中在需要多步几何组合的类别：DSI-Bench (+17.6)、MindCube (+15.3)、MMSI (+13.4)、SPBench (+13.3)。

与其他空间智能体对比

智能体 平均准确率 视频/多视图支持
VADAR - ❌ 不支持
pySpatial 47.8 ✅
SpaceTools Toolshed 48.7 ✅
SpatialClaw 59.9 ✅

💡 个人见解

核心贡献

  1. 重新定义动作接口：论证动作接口设计是空间推理智能体能力的关键因素，提出"代码即动作接口"范式
  2. 持久化内核 + 迭代循环：每步生成可执行代码单元，基于中间证据检查和修正推理
  3. 20 基准全面验证：在静态/动态 3D/4D 空间推理任务上一致提升，横跨 6 个骨干无需适配
  4. 无需训练：零训练框架，纯靠推理时的迭代推理能力

关键洞察

  • 动作接口 > 工具集：使用相同工具集，仅改变接口设计就带来 +3.2% 的提升（结构化→代码）
  • 迭代 > 一次性：持久化内核的迭代推理比单次代码执行高 +4.7%
  • 中间证据检查：show() 让智能体能视觉检查中间结果（掩码、深度图），发现错误后修正
  • 跨模型泛化：同一系统提示、同一工具集在 6 个不同骨干上一致有效

局限性

  • 推理成本：每步需要 VLM 推理 + 代码执行，比单次推理更耗时
  • 感知工具依赖：深度估计和分割的质量直接影响推理效果
  • 代码安全性：虽然有 AST 静态检查，但开放代码执行仍有风险

为什么重要

这项工作对具身智能的意义超越了空间推理本身：

  • 智能体架构启示：动作接口设计是智能体能力的瓶颈——不是"有什么工具"，而是"如何用工具"
  • 代码即推理：代码生成为 VLM 提供了比自然语言推理更精确、可验证的推理路径
  • 具身感知的桥梁：将深度估计、分割、3D 重建等感知原语与 VLM 推理无缝集成
  • 工程简洁性：零训练、统一提示、跨模型泛化——这是一个真正可用的智能体框架

📚 参考资料

  • 论文：arXiv:2606.13673
  • 机构：NVIDIA · KAIST
  • 许可：CC BY 4.0
  • 日期：2026-06-11