电力系统代码生成的知识边界探测与按需干预
原始标题 / Knowledge boundary probing and demand-guided intervention for LLM-based power system code generation
该研究针对本地部署下LLM生成电力系统仿真代码时的首轮失败问题,提出无需更新权重的部署期工作流:先用文档驱动的L0-L3探测建立逐模型API画像,再在生成前按查询需求分层注入API证据,并用执行反馈定向修复。其价值在于把常见的API幻觉与参数误用转化为可诊断、可校准的工程流程,并在十款开源权重模型和四家API上验证了准确率提升。
01 摘要
事实:作者发布PowerCodeBench(面向pandapower的2000任务冻结套件),并提出包含L0-L3探测、查询侧需求估计与执行反馈修复的部署期工作流,不更新模型权重。事实:在1.5B-480B的十个开源权重模型和四个中端API上,启用验证的工作流经最多三轮修复后,标量匹配准确率相较无辅助首轮提升32-56个百分点;选择性注入以41%提示词元接近全层参考。作者观点:这类探测与按需干预可用于诊断、模型比较、文档分配和后端校准,并支持从冷启动广泛检索逐步过渡到校准后的选择性注入。
02 关键点
- 发布PowerCodeBench:面向pandapower的2000任务冻结基准,并配套L0-L3文档驱动探测以形成逐模型API画像。
- 部署期工作流不更新权重:查询侧需求估计选择分层API证据,执行反馈用于定向修复。
- 在十个开源权重模型(1.5B-480B)与四个中端API上,启用验证的工作流经最多三轮修复将标量匹配准确率提高32-56个百分点;70B-120B开源模型在无工具条件下达到四厂商中端API准确率区间。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL