QuantEval：面向量化金融的LLM计算—实现—验证评测基准
原始标题 / QuantEval: A Benchmark for Financial Quantitative Tasks in Large Language Models
QuantEval 针对大语言模型在专业量化工作流中评测碎片化、多停留在事实问答的缺口，提出覆盖知识问答、数学推理与策略编码三维度的专家校验基准。其编码任务使用确定性 CTA 风格回测框架执行模型生成策略并对比专家风险收益指标，而非仅做语法或模板匹配，因此更贴近量化研究中真实的计算—实现—验证闭环。该基准同时发布数据集、评测脚本与完整回测配置，便于可复现研究并暴露模型在多步推理和框架约束编码上的能力差距。
01 摘要
论文提出 QuantEval，一个用于评估大语言模型能否完成量化金融中计算—实现—验证闭环的基准，包含 1,575 个专家校验实例，覆盖知识问答、定量数学推理和量化策略编码三个维度。策略编码采用确定性 CTA 风格回测框架执行模型生成策略，并将风险收益指标与专家参考进行对比。论文评估了 13 个开源与专有 LLM，报告了提示与可靠性分析，并观察到模型与人类专家存在显著差距，尤其在多步推理和受框架约束的编码方面；此外，监督微调与强化学习实验显示训练可提升定量推理，但可能带来事实回忆上的权衡。
02 关键点
- QuantEval 包含 1,575 个专家校验实例，覆盖知识问答、定量数学推理和量化策略编码三个互补维度。
- 策略编码任务通过确定性 CTA 风格回测执行模型生成策略，并与专家参考的风险收益指标比较，超越语法或模板匹配。
- 对 13 个开源与专有 LLM 的评估显示，模型与人类专家存在显著差距，尤其在多步推理和框架约束编码上；领域对齐数据的监督微调与强化学习可改善定量推理，但也暴露事实回忆的权衡。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL