连续效用直接偏好优化提升推理策略选择

01 摘要

该工作指出LLM推理常被当作单一能力，二值偏好监督无法捕捉部分进展与细粒度推理质量。作者提出CU-DPO，以连续效用分数替代二值标签，并证明K策略学习相对二值偏好有Θ(K log K)样本复杂度改进，且DPO收敛到熵正则效用最大化策略。作者报告在数学推理等基准上策略选择准确率从35-46%提升至68-78%，下游推理最高增益+6.6分，并称在代码生成与因果推理上一致提升。

02 关键点

1. CU-DPO将二值偏好替换为连续效用分数，把推理拆解为K种提示式认知策略的效用组合。
2. 理论分析给出Θ(K log K)样本复杂度改进，并证明DPO收敛到熵正则效用最大化策略。
3. 两阶段流程：先用best-vs-all比较做策略选择，再用边际分层对训练正确执行；作者报告七种基座模型策略选择准确率提升至68-78%，下游最高+6.6分。