GraphDancer:用课程强化学习训练LLM探索图结构知识
原始标题 / GraphDancer: Training LLMs to Explore and Reason over Graphs via Curriculum Reinforcement Learning
提出GraphDancer框架,通过强化学习让LLM在异构图上交替进行推理与函数调用,并引入图感知课程按结构难度安排训练。实验显示,仅用学术和生物医学图训练后,模型在未见电商、文学、法律图上仍优于同底座基线,14B版本在未见领域平均超越GPT-4.1-mini和GPT-5-nano驱动的基线。
01 摘要
论文研究LLM如何学习在异构图上进行多跳证据聚合和精确函数调用,并迁移到未见领域。作者提出GraphDancer强化学习框架,结合图感知课程(按问题结构难度从易到难采样)训练中等规模LLM。在GRBench多领域基准上,仅用学术和生物医学图训练,模型在留出问题和未见领域均优于同底座图代理基线,轨迹分析显示其更常检索到答案证据且无效协议结果减少。
02 关键点
- GraphDancer让LLM在图上交替推理与执行函数调用,而非仅依赖相似度检索。
- 图感知课程按问题结构难度从易到难采样,以改善中等规模LLM的强化学习训练。
- 仅用学术和生物医学图训练,在未见电商、文学、法律图上仍优于同底座基线,14B版本平均超越GPT-4.1-mini和GPT-5-nano驱动的基线。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL