残差感知谱容量优化Transformer异构资源分配

01 摘要

Neural Spectral Capacity (NSC) 是一种根据架构规格预测相对训练性能的启发式方法，但独立评分投影且对兼容重排给出相同分数。本文提出ResNSC，利用规格推导的统计参考确定每个投影容量计算中的输入和残差状态统计，并扩展NSC-DP分配器以纳入残差历史。实验表明，在121M和374M预训练规模下，所选架构在可比参数预算下困惑度低于均匀、可变宽度和锥形分配；在LLaMA-7B剪枝中，八任务平均准确率提升3.28-5.46个百分点。

02 关键点

1. ResNSC引入残差更新统计参考，改进了NSC对投影独立评分的问题。
2. ResNSC-DP联合分配残差和FFN宽度，并给出有限候选集内最优分数的认证边界。
3. 在预训练和剪枝设置中，ResNSC-DP优于基线分配策略，且配对反转实验揭示了位置独立评分忽略的性能差异。