JEROME BRIEFRESEARCH INTELLIGENCE
← 返回信号库
AI 研究arXiv cs.CLSIGNAL BD99F4

基于投票熵的不确定性预算分配提升大模型推理采样效率

原始标题 / Uncertainty-Aware Budget Allocation for Adaptive Test-Time Reasoning

该研究提出不确定性感知预算分配（UAB），用初始采样答案的投票熵作为难度信号，在固定采样预算下将更多生成次数分配给答案分歧大的问题。相比均匀分配，它在五个开源模型和五个推理基准上平均准确率提升2.3%，单基准最高提升5.5%，尤其在低资源模型上收益最大，且不增加额外模型调用。

01 摘要

论文指出，语言模型推理时对每个问题均匀分配采样次数效率低：简单题被过度采样，难题探索不足。作者提出UAB，先用少量生成计算投票熵衡量分歧，再用剩余预算优先追加给分歧大的问题，以固定预算换取更高准确率。根据论文报告，在1.5B至27B五个开源模型和五个推理基准上，UAB相对均匀分配平均提升2.3%，单基准最高5.5%，低资源设置增益最大。

02 关键点

  1. UAB分两阶段：先用小固定预算获取投票熵作为难度信号，再按边际贪心分配剩余预算给答案分歧大的问题。
  2. 在五个开源模型和五个推理基准上，固定总采样预算下平均准确率比均匀分配提高2.3%，单基准最高提升5.5%。
  3. 无需辅助模型或额外LLM调用，精确满足目标预算，低资源模型收益更明显。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL

阅读原文 ↗