CodeInsight：追踪编程迭代解题过程的大规模数据集与基准

01 摘要

研究将迭代解题视为顺序建模任务，在每次尝试中求解者根据反馈决定如何修改方案，核心是预测表现会提升、停滞还是回退。作者整理了CodeInsight数据集，覆盖两门C++入门课程、两个学年、3286名学生的超300万次提交，包含测试用例级结果、时间戳与源码，并构建基准评测多类模型。实验发现适配的循环状态空间模型在四门课程中的三门取得最高预测精度；LLM预测器精度较低但能生成完整提交，其编程能力与该场景下的预测表现呈反向关系。

02 关键点

1. CodeInsight包含超300万次提交、3286名本科生、2门C++课程和2个学年的数据，附测试用例级结果、时间戳与源码。
2. 基准在统一校准与评分协议下比较参数化、顺序化和生成式模型，包括适配的循环状态空间模型（RSSM）与基于LLM的预测器。
3. 适配RSSM在四门课程中的三门预测精度最高；LLM预测器精度较低但可生成每次尝试的完整提交，便于直接分析失败模式。