结构化消歧能否提升文本到SQL系统的准确率

01 摘要

论文指出，文本到SQL系统走向真实部署时，用户问题中的歧义是主要错误来源，且歧义常细微、依赖领域或数据，可能悄悄使输出偏离用户真实意图；传统对话澄清效率低、认知负担重，也不贴合真实工作流。作者提出结构化消歧，即通过显式且受约束的交互解决歧义，而非自由形式对话。作者构建ARCS，宣称是首个在真实数据库上包含自然出现、未受约束歧义，并完整标注所有有效歧义点、解释与SQL查询的文本到SQL基准；实验显示歧义下任务仍困难，gpt-6-sol端到端执行准确率仅51%，开源模型均不超过27%。

02 关键点

1. 提出结构化消歧：用显式、受约束的交互替代自由对话澄清来消除文本到SQL中的歧义。
2. 构建ARCS基准：面向真实数据库，标注自然出现的歧义点、对应解释与SQL查询。
3. 实验显示歧义场景下文本到SQL仍具挑战：gpt-6-sol端到端执行准确率51%，开源模型均不超过27%。