LLM引导分块特征工程将长文本转为可执行特征程序
原始标题 / Long Text to Predictive Features: LLM-Guided Blockwise Feature Engineering via Executable Program Search
该工作提出LLM-BlockFE框架，把长文本离线构造为可执行的特征程序，使在线推理阶段无需调用大语言模型。其价值在于兼顾长文本信息利用与工业风险控制的部署效率，并在公开与私有数据集上取得AUC提升。
01 摘要
工业风险控制系统多依赖结构化数据模型，但大量信息仍藏在非结构化长文本中；人工特征工程成本高，而在线逐条调用大模型又难以满足部署要求。作者提出LLM-BlockFE，通过增量追加不可变代码块并用下游模型评估候选特征，构建可执行特征程序。该方法引入基于深度校准信用分配的块级回滚机制，并以交错方式推进多条独立搜索轨迹，减少重复探索。
02 关键点
- LLM-BlockFE将长文本离线转化为可执行特征程序，冻结后部署，在线推理不再调用LLM。
- 通过块级回滚与深度校准信用分配，缓解传统贪心搜索易陷入次优解的问题。
- 交错推进多条搜索轨迹并共享各轨迹探索方向的固定描述，以降低冗余探索。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL · ARXIV CS.LG