矩阵CODI模型推理对秩不敏感：秩截断消融曲线平坦
原始标题 / The Gradient Does Not See Rank: Rank-Indifference in Matrix-CODI on ProsQA
该研究通过秩截断消融实验发现，矩阵连续思维链（Matrix-CODI）模型在ProsQA等任务上的性能不受潜在矩阵Z的秩影响，即使模型结构引入秩作为观测变量。实验涵盖多种训练设置和读出层变体，均得到平坦曲线，表明该模型可能未利用并行推理路径。
01 摘要
作者在多种训练设置下（ProsQA三次、GSM8K-Aug一次）对Matrix-CODI模型进行秩截断消融，发现性能变化不超过0.6个百分点。更换不同读出层（双线性、GELU、SVD增强等）后结果依然平坦。线性探测显示Z的表示能力弱于原始隐藏状态。对照组实验表明，平坦曲线可能并非矩阵瓶颈特有，而是秩截断消融与位置无关性混淆所致。
02 关键点
- 秩截断消融曲线平坦：性能变化在0.6个百分点以内
- 不同训练设置及读出层变体均不影响结果
- 线性探测显示Z的预测能力低于预训练隐藏状态
- 对照实验提示平坦曲线可能源于位置无关性而非秩不敏感
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG