PRISM:免微调金融检索框架提升召回与成本效率
原始标题 / PRISM: Prompt-Refined In-Context System Modelling for Financial Retrieval
PRISM 提出一种无需微调的金融文档检索框架,组合提示工程、上下文学习与候选精炼模块,在 FiQA-2018 上提升 Recall@100,并在 FinAgentBench 上以更低成本获得相当效果,同时发布专家标注评测集与 16 种标签鲁棒性分析。
01 摘要
PRISM 是一个免微调的金融检索框架,由提示工程、上下文学习和候选精炼三个可部署模块组成。在 FiQA-2018 上,堆叠重排与 k 倒数编码将 Recall@100 从 0.7783 提升至 0.8326;在 FinAgentBench 上,Cohere 精炼的 top-50 池获得更高端到端 NDCG@5,但低于该评估的最小可检测效应,同时每查询成本降低约 35%。作者还发布专家标注的 FinAgentBench 评测集及 16 种替代真值构造的标签鲁棒性扫描,并指出增加复杂度并不总是有益:上游已高召回时 k 倒数编码不再有帮助,多智能体协调并非细粒度块排序的默认选择,匹配对实验显示多智能体协调在块阶段损失 0.0702 和 0.0681 的组合 NDCG@5。
02 关键点
- PRISM 无需微调,在 FiQA-2018 上通过堆叠重排与 k 倒数编码将 Recall@100 从 0.7783 提升至 0.8326。
- 在 FinAgentBench 上,Cohere 精炼 top-50 池使端到端 NDCG@5 提升但低于最小可检测效应,每查询成本降低约 35%。
- 多智能体协调在细粒度块排序中并非默认更优,匹配对实验显示其在块阶段损失组合 NDCG@5。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL