触觉智能基础模型：面向灵巧操作的规模化框架

01 摘要

该工作介绍了一个触觉操作框架，包括触觉传感器、数据收集系统、大型数据集、视觉触觉表示模型和评估基准。作者构建了超过30000小时的同步视觉触觉数据，并发布开源子集，训练了表示模型，并在真实和模拟环境中进行了验证。

02 关键点

1. 提出触觉操作范式，整合传感硬件、数据、表示和评估。
2. 构建包含30000小时同步视觉触觉演示的数据集，涵盖450个任务。
3. 开源5000小时的数据子集，促进开放研究。
4. 提出视觉触觉表示模型，学习跨传感器设计可迁移的表征。
5. 提供真实与模拟基准，验证政策的效益来自物理接触状态。