System1-Arena：哪些决策可交给单次前向系统1模型

01 摘要

该研究发布System1-Arena基准，让所有模型对相同决策请求输出选项概率并评分。实验显示最大系统1模型在非智能体任务上匹配或超过快速闭源LLM，且概率校准更好、延迟仅四分之一；推理LLM最准但成本约为快速LLM的70倍。闭环环境中大开放LLM成功率最高（达32.9%），小型系统1模型很少成功。

02 关键点

1. 基准含9.2万问题、105项任务、268个公开来源，分文本分类与知识、应用决策、评估与控制、智能体与行动四组。
2. 评估30个模型：7个闭源LLM、13个开放LLM（读答案token）、10个系统1模型；系统1模型单次前向输出概率。
3. 非智能体场景：最大系统1模型匹配或超过快速闭源LLM，概率校准更优、延迟约四分之一；推理LLM最准但成本约70倍。
4. 闭环环境：大开放LLM成功率最高达32.9%，小型系统1模型很少成功；实时模式下世界随决策演化。