金融研究arXiv cs.CLSIGNAL 7B08D0

PRISM:免微调金融检索框架提升召回与成本效率

原始标题 / PRISM: Prompt-Refined In-Context System Modelling for Financial Retrieval

PRISM 提出一种无需微调的金融文档检索框架,组合提示工程、上下文学习与候选精炼模块,在 FiQA-2018 上提升 Recall@100,并在 FinAgentBench 上以更低成本获得相当效果,同时发布专家标注评测集与 16 种标签鲁棒性分析。

01 摘要

PRISM 是一个免微调的金融检索框架,由提示工程、上下文学习和候选精炼三个可部署模块组成。在 FiQA-2018 上,堆叠重排与 k 倒数编码将 Recall@100 从 0.7783 提升至 0.8326;在 FinAgentBench 上,Cohere 精炼的 top-50 池获得更高端到端 NDCG@5,但低于该评估的最小可检测效应,同时每查询成本降低约 35%。作者还发布专家标注的 FinAgentBench 评测集及 16 种替代真值构造的标签鲁棒性扫描,并指出增加复杂度并不总是有益:上游已高召回时 k 倒数编码不再有帮助,多智能体协调并非细粒度块排序的默认选择,匹配对实验显示多智能体协调在块阶段损失 0.0702 和 0.0681 的组合 NDCG@5。

02 关键点

  1. PRISM 无需微调,在 FiQA-2018 上通过堆叠重排与 k 倒数编码将 Recall@100 从 0.7783 提升至 0.8326。
  2. 在 FinAgentBench 上,Cohere 精炼 top-50 池使端到端 NDCG@5 提升但低于最小可检测效应,每查询成本降低约 35%。
  3. 多智能体协调在细粒度块排序中并非默认更优,匹配对实验显示其在块阶段损失组合 NDCG@5。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL

阅读原文 ↗