投资者终考基准:AI智能体在冻结信息下的股票研究评估
原始标题 / Investor's Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future?
该工作提出 Investor's Last Exam(ILE)基准,用带版本与时间戳的金融数据库和专家评分框架,在严格冻结的信息集下评估 AI 智能体的完整股票研究流程。其新意在于把评估单位从孤立能力转向“证据—假设—判断”链条,并同时衡量研究质量、预测准确性与模拟投资表现;对需要定位智能体分析优势为何未转化为预测与投资判断的研究者和开发者具有诊断价值。
01 摘要
论文构建了面向股票研究的 ILE 基准,包含覆盖 343 万份文档版本、9 类来源并带有效时间戳的版本化金融数据库,外加结构化市场数据,检索与计算均受时间戳约束。任务按专业分析师的交付物组织,并由专家主导的框架借助金融依赖图把评分标准与来源、计算和假设关联起来,评估覆盖 86 项任务。结果显示 GPT-6 Astra 与 Claude Opus 5.5 总分领先(68.1 与 66.9,满分 100),但即使 Astra 在“预测与模型”一项也仅得 52.5。作者据此认为,即使最先进模型也未能把整体研究能力转化为预测表现。
02 关键点
- ILE 使用版本化金融数据库(覆盖 343 万份文档版本、9 类来源)和结构化市场数据,并以有效时间戳约束检索与计算,形成严格冻结的信息集。
- 任务分类围绕专业分析师交付物设计,专家主导的评分框架通过金融依赖图把评分标准与来源、计算和假设相连,评估共覆盖 86 项任务。
- 评估同时考察研究质量、预测准确性和模拟投资表现;GPT-6 Astra 与 Claude Opus 5.5 总分领先,但 Astra 在“预测与模型”一项仅 52.5 分。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY HUGGING FACE DAILY PAPERS