可执行环境监督拓展智能体工具使用数据

01 摘要

论文指出可靠工具使用需要多样多步流程与可执行证据配对，仅扩大轨迹或仅强化验证都不够，因为新环境会引入必须反映在成功标准中的状态、规则与依赖。作者构建了 Davinci-ToolData，用 Execution-Grounded Task Synthesis 和 Executable Environment Synthesis 两条流水线生成可恢复状态、执行轨迹、结果与验证器，并据此先做监督微调，再用状态与验证器构造结果偏好做直接偏好优化。可核验事实是：数据含 30,395 条已验证轨迹、覆盖 2,260 个被调用工具名，模型为 30B，在 τ²-bench 从 52.4 提升至 88.2，BFCL v4 多轮从 30.4 提升至 62.8，MCP-Atlas 从 16.9 提升至 56.2；作者观点认为该路线以更少参数取得优于更大模型的基准表现，并公开代码。

02 关键点

1. 论文提出 Davinci-ToolData，将可恢复状态、执行轨迹、结果和验证器统一为监督载体。
2. 数据由 Execution-Grounded Task Synthesis 与 Executable Environment Synthesis 两条流水线生成，含 30,395 条已验证轨迹、覆盖 2,260 个工具名。
3. 训练先做监督微调，再复用 EES 的状态与验证器比较备选动作并构造结果偏好做 DPO。