排序先验对齐:信用风险冷启动的模型无关外部正则化框架
原始标题 / Ranking Prior Alignment for Credit Risk Modeling: When Do External Priors Matter?
该研究提出排序先验对齐框架,将专家、教师模型或大语言模型提供的外部排序先验通过温度缩放的KL散度损失蒸馏到任意评分模型中,以缓解冷启动信用评分中标注稀缺、特征薄弱和模型容量受限的问题。其新意在于模型无关、推理时无需外部模型,并明确了收益随数据量、模型容量和特征质量下降而增大的逆缩放规律,有助于从业者判断何时值得投入先验标注。
01 摘要
针对冷启动信用评分中标注数据稀缺、特征管道不成熟、模型容量受限等问题,作者提出排序先验对齐框架,通过温度缩放的KL散度损失将外部排序先验注入评分模型。在超过150万商户的工业数据集上,MIL对齐在3K样本时7/7评估指标为正,XGBoost消融在300样本时9/9指标为正;公开Amex数据集交叉验证5/5折为正,平均ΔAUC为+0.041。作者认为该方法模型无关且先验来源独立,并观察到对齐收益随数据量、模型容量和特征质量下降而增大的逆缩放模式,据此建议从业者评估先验标注的投入时机。
02 关键点
- 框架将外部排序先验(来自领域专家、教师模型或大语言模型)通过温度缩放的KL散度损失蒸馏到评分模型,统一了神经MIL注意力和树模型XGBoost定制目标两种实现。
- 工业数据实验显示:MIL对齐在3K样本时7/7评估单元为正(OOT-1峰值ΔAUC=+0.020),XGBoost消融在300样本时9/9指标为正;公开Amex交叉验证5/5折为正(平均ΔAUC=+0.041)。
- 作者报告对齐收益呈逆缩放模式:数据量N、模型容量C和特征质量Q越低,收益越大;树模型实例可容忍最高η=0.5的标注噪声。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG