AI × 量化arXiv cs.LGSIGNAL 615769

排序先验对齐:信用风险冷启动的模型无关外部正则化框架

原始标题 / Ranking Prior Alignment for Credit Risk Modeling: When Do External Priors Matter?

该研究提出排序先验对齐框架,将专家、教师模型或大语言模型提供的外部排序先验通过温度缩放的KL散度损失蒸馏到任意评分模型中,以缓解冷启动信用评分中标注稀缺、特征薄弱和模型容量受限的问题。其新意在于模型无关、推理时无需外部模型,并明确了收益随数据量、模型容量和特征质量下降而增大的逆缩放规律,有助于从业者判断何时值得投入先验标注。

01 摘要

针对冷启动信用评分中标注数据稀缺、特征管道不成熟、模型容量受限等问题,作者提出排序先验对齐框架,通过温度缩放的KL散度损失将外部排序先验注入评分模型。在超过150万商户的工业数据集上,MIL对齐在3K样本时7/7评估指标为正,XGBoost消融在300样本时9/9指标为正;公开Amex数据集交叉验证5/5折为正,平均ΔAUC为+0.041。作者认为该方法模型无关且先验来源独立,并观察到对齐收益随数据量、模型容量和特征质量下降而增大的逆缩放模式,据此建议从业者评估先验标注的投入时机。

02 关键点

  1. 框架将外部排序先验(来自领域专家、教师模型或大语言模型)通过温度缩放的KL散度损失蒸馏到评分模型,统一了神经MIL注意力和树模型XGBoost定制目标两种实现。
  2. 工业数据实验显示:MIL对齐在3K样本时7/7评估单元为正(OOT-1峰值ΔAUC=+0.020),XGBoost消融在300样本时9/9指标为正;公开Amex交叉验证5/5折为正(平均ΔAUC=+0.041)。
  3. 作者报告对齐收益呈逆缩放模式:数据量N、模型容量C和特征质量Q越低,收益越大;树模型实例可容忍最高η=0.5的标注噪声。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG

阅读原文 ↗