DPO 计算图随机剪枝：训练提速并降低峰值内存
原始标题 / Stochastic Pruning of the DPO Computation Graph: 1.4x Faster Training and Lower Peak Memory
该研究把 DPO 训练中的输出打分、序列执行和反向传播三个环节分别随机采样并提前剪枝，从而在每一步训练中直接跳过部分计算。其新意在于将资源节省与目标函数变化联系起来，并用逆概率加权保证梯度估计条件无偏；对关心 DPO 训练效率的实践者具有参考价值。
01 摘要
作者提出一个统一框架，对 DPO 计算图的响应位置、响应前缀和偏好分支独立随机采样，并在相应运算前完成选择以省略计算。分析刻画了位置与序列剪枝带来的目标变化，并用逆概率加权得到条件无偏的单分支梯度估计。受控测量显示位置与序列剪枝主要降低峰值内存，分支剪枝相对拼接式 DPO 基线取得 1.426 倍单步加速。
02 关键点
- 位置与序列剪枝主要减少峰值内存，大部分输出内存节省来自保留完整响应监督的实现。
- 分支剪枝相对拼接式 DPO 基线实现 1.426 倍单步加速，相对原版 DPO 训练时间约减少 30%。
- 框架在采样前完成选择，从而在打分、执行和反向传播各阶段跳过计算，并用逆概率加权维持条件无偏梯度估计。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG