AI 研究Hugging Face Daily PapersSIGNAL E5B8DB

TARSphere:面向长周期具身智能体的全栈框架

原始标题 / TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents in Evolving Physical and Social Environments

TARSphere 提出面向机器人的全栈框架,在物理模拟器中运行机器人策略,并集成具身 NPC 与受限对话;其事件驱动有限状态机依据已完成动作和传递信息更新任务状态。该框架还包含具身大脑 harness,让冻结的多模态大模型通过多级可执行技能行动,并利用观察、分层记忆和执行反馈修正决策。基于此构建的 TARSphere-Bench 包含 30 个室内场景的 360 个片段,通过五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作和意图理解。对 8 个 MLLM 的评估显示

01 摘要

TARSphere 是一个面向机器人长周期具身智能体的全栈框架,在物理模拟器中运行策略并集成具身 NPC 与受限对话。其事件驱动有限状态机根据已完成动作和传递信息更新任务状态,而具身大脑 harness 让冻结的 MLLM 通过多级可执行技能行动,并利用观察、分层记忆和执行反馈修正决策。作者基于此构建 TARSphere-Bench,包含 30 个室内场景的 360 个片段,用五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作和意图理解;对 8 个 MLLM 的评估显示通用模型可优于具身模型,任务更新和人类交互仍具挑战,频繁碰撞和跌倒表明需在任务成功之外评估执行安全。

02 关键点

  1. TARSphere 框架在物理模拟器中运行机器人策略,并集成具身 NPC 与受限对话,以支持物理和社会约束下的长周期任务。
  2. 事件驱动有限状态机利用已完成动作和传递信息更新任务状态;具身大脑 harness 让冻结的 MLLM 通过多级可执行技能行动,并借助观察、分层记忆和执行反馈修正决策。
  3. TARSphere-Bench 包含 30 个室内场景的 360 个片段,通过五组配对条件评估感知鲁棒性、干扰适应、任务更新、人类协作和意图理解;对 8 个 MLLM 的评估显示通用模型可优于具身模型,任务更新和人类交互仍具挑战,频繁碰撞和跌倒表明需在任务成功之外评估执行安全。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY HUGGING FACE DAILY PAPERS

阅读原文 ↗