WER 框架:用执行反馈训练技能优化器,提升工具使用智能体表现
原始标题 / Write, Execute, Refine: From Skill Follower to Skill Optimizer via Reinforcement Learning from Execution Feedback
针对智能体自写技能反而比不用技能更差的问题,WER 用「写—执行—精炼」多阶段强化学习训练一个独立于冻结执行器的技能优化器,在 BFCL v4 多轮与 tau2-bench 上取得提升,为技能生成提供可复用训练范式。
01 摘要
论文指出,专家撰写的自然语言技能能提升工具使用智能体,但智能体自写技能比不使用技能低 8–11 分;推理时循环只能修复单任务技能,不改善生成器的细化能力。作者提出 WER 框架,将中间技能的执行经验组织为训练状态,训练一个与冻结执行器分离的技能优化器;优化器提出技能,冻结智能体重复执行,程序化验证器打分,分数作为组相对奖励并筛选混合结果样本,匹配的成功与失败轨迹构成下一阶段精炼状态。在 BFCL v4 多轮与 tau2-bench 上,WER 相比无技能基线的平均 Pass@1 分别提升 7.80 与 6.06 分,并在相同精炼流程下优于未训练优化器的同骨干模型 10.02 与 12.50 分;训练出的 4B 优化器在 BFCL v4 达到 76.63%,平均优于所评估的同角色现成通用大模型。
02 关键点
- 自写技能比无技能低 8–11 分,暴露生成器细化能力不足的问题。
- WER 以执行反馈的组相对奖励与混合结果筛选,训练独立于冻结执行器的技能优化器。
- 在 BFCL v4 多轮与 tau2-bench 上,平均 Pass@1 较无技能基线提升 7.80 与 6.06 分。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL