智能体规划基准：诊断LLM规划短板与工具鲁棒性

01 摘要

事实：研究提出APB规划专用诊断基准，包含4209个多模态案例、22个领域和五种设置，评估12个MLLM，并在ToolSandbox和τ²-bench各200个任务上验证APB引导的精炼能提升规划正确性、等级和执行指标。作者观点：APB可作为执行基准的上游诊断补充，帮助区分规划与执行失败。

02 关键点

1. APB包含4209个多模态案例，覆盖22个领域和五种规划设置，专门诊断规划能力而非端到端成功。
2. 在12个MLLM上揭示长程规划、工具噪声鲁棒性、校准拒绝和推理时精炼四方面系统性弱点。
3. 在ToolSandbox和τ²-bench各200个任务上，APB引导的精炼提升规划正确性、等级和执行指标。