CasePlay：用病例报告自博弈强化学习提升医疗推理
原始标题 / CasePlay: Self-Play Reinforcement Learning from Case Reports for Medical Reasoning
针对现有医疗大模型强化学习依赖专家标注或昂贵合成数据的问题，CasePlay 提出直接利用未标注临床病例报告进行自博弈强化学习，通过知识条件化出题器和评分标准裁判推理器，缓解知识点固着与难度质量失配两个挑战，在七个医疗基准上平均提升 3.1 分。
01 摘要
CasePlay 研究能否将未标注的临床病例报告转化为强化学习训练信号，以提升大语言模型的临床推理能力。作者指出已有自博弈方法存在知识点固着和难度质量失配两个问题，并提出知识条件化出题器与评分标准裁判推理器加以应对。实验显示该方法在七个医疗相关基准上优于现有自博弈基线，并使 SFT 热启动模型平均提升 3.1 分，其中 LiveClin 提升 6.3 分。
02 关键点
- CasePlay 直接利用未标注临床病例报告进行文档接地自博弈，避免依赖专家标注问题或昂贵合成数据。
- 知识条件化出题器将问题生成锚定到病例特定知识点，以扩大证据覆盖、缓解知识点固着。
- 评分标准裁判推理器在答案准确性之外，增加线索整合、推理深度和选项质量反馈，引导出更具推理强度的问题。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL · ARXIV CS.LG