RT-SAFE：实时具身智能体安全评测基准
原始标题 / RT-Safe: Benchmarking Agent Safety in Real-Time Embodied Environment
现有智能体安全评测多集中于数字环境，该工作提出模拟城市基准 RT-SAFE，让世界在推理与动作执行期间持续演化，从而把决策延迟纳入具身安全评估。其价值在于揭示任务完成率高并不代表安全，并可作为离线强化学习训练环境以降低碰撞。
01 摘要
RT-SAFE 是一个面向实时约束的模拟城市具身智能体安全基准，包含导航任务、移动角色、环境危险与交通规则，并允许世界在推理和动作执行过程中持续变化。对八个视觉语言模型的评测显示，任务完成率可达九成以上，但安全完成率极低，最难设置下仅 0.7% 的回合无安全事件；静态与实时对比中，实时执行使碰撞增加约 12.3 倍。作者认为，标准任务成功率可能掩盖严重安全失败，决策延迟本身可成为物理风险来源，并展示该基准可支持离线强化学习训练、显著降低碰撞率。
02 关键点
- RT-SAFE 将实时性纳入具身智能体安全评测：世界不会因智能体推理而暂停，观测时安全的动作在执行前可能已不安全。
- 对八个视觉语言模型的评测中，任务完成率很高但安全完成率极低，最难设置下仅 0.7% 的回合无安全事件。
- 静态与实时匹配评估的任务完成率接近（91.3% 与 94.1%），但实时执行使碰撞增加约 12.3 倍，说明延迟可转化为物理风险。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG