JEROME BRIEFRESEARCH INTELLIGENCE
← 返回信号库
AI 研究arXiv cs.LGSIGNAL BC0B19

VERSE：可验证的自我进化优化器提升代理执行框架

原始标题 / VERSE: Verified Self-Evolving Optimizer for Agent Harnesses

现有方法通常固定优化器自身的工具与流程，仅改进被优化代理的提示、工具与工作流。VERSE 让优化器也能改进自身诊断失败、开发修改和测试效果的方式，并通过执行验证、失败重放与步骤扰动提升优化效果。在 SWE-rebench 同分布与跨语言分布外任务上，其最优验证集选择的执行框架准确率分别达到 42.3% 与 37.7%，优于最强基线 39.2% 与 29.3%。

01 摘要

作者研究优化器能否通过改进自身诊断失败、开发修改和测试效果的方式，更有效地提升另一个代理。受控实验表明，没有基于执行的验证时，优化器自我进化无法提升性能；有验证时则取得该实验中的最佳结果。基于此提出 VERSE，它在提交前测试草稿修改、重放失败并扰动可疑步骤，同时跨轮次追踪修复与回归。优化器与执行器模型权重保持固定，仅修改执行框架与优化器自身的提示、技能、工具、钩子和笔记。

02 关键点

  1. 在受控研究中，优化器自我进化缺少执行验证时无法提升性能，具备验证时取得最佳结果。
  2. VERSE 允许优化器测试草稿修改、重放失败、扰动可疑步骤，并跨轮次追踪修复与回归。
  3. 在共享协议与互不重叠的训练、验证、测试任务下，VERSE 在 SWE-rebench 留出任务和五种语言的新分布外任务上提升了全部四个被评估的执行框架优化器。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL · ARXIV CS.LG

阅读原文 ↗