AI 研究arXiv cs.CLSIGNAL 163086

反思式提示优化:去主题重叠与多种子评估转移增益

原始标题 / Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting

该研究将反思式提示进化(GEPA)用于多智能体深度研究代理的两个系统提示,在主题不重叠的划分下评估提示优化的可迁移性。新意在于揭示验证集与留出集差距是小样本选择而非记忆,并识别分解式反馈是增益迁移的因果要素,提醒评估需留出主题、多种子和验证器消融。

01 摘要

研究显示,在主题不重叠划分下,反思式提示优化可将留出引用奖励从0.702提升至0.781,增益跨三个种子复现。作者发现典型提示中近半内容为记忆答案键,但消融实验表明这些内容在训练问题上也不获奖励,验证-留出差距主要源于噪声评判下的小样本选择。作者观点认为,分解式逐维反馈是迁移增益的因果要素,将其简化为单一标量奖励会导致留出迁移为负。

02 关键点

  1. 主题不重叠划分下,留出引用奖励提升0.079(bootstrap 95%置信区间[0.051, 0.107]),三个种子均值0.107。
  2. 获胜提示近半为记忆答案键,但消融显示其在编码的训练问题上也不获奖励,验证-留出差距来自小样本选择而非记忆。
  3. 分解式逐维反馈是迁移增益的因果要素;塌缩为单一标量奖励会使留出迁移为负。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL

阅读原文 ↗