统一联合优化框架结合Nyström近似实现可扩展自适应SVM
原始标题 / Revisited Support Vector Machines: A Unified Joint Optimization Framework with Nystr\"om Approximation for Scalable Adaptive Learning
该研究提出将核选择与SVM训练耦合为连续双层次联合优化问题，并引入Nyström低秩近似与块坐标上升算法，在保持精度的同时将训练复杂度从立方级降至O(Nm)，旨在解决经典SVM在大数据下的训练瓶颈与静态核刚性。
01 摘要
经典SVM面临训练立方复杂度与静态核选择困难两大瓶颈，传统方法将核学习与决策边界优化分离。本文提出“Revisited SVM”统一框架，将学习过程重述为连续双层次联合优化问题，并给出同时优化拉格朗日乘子与核超参数的目标函数J(α, θ)。作者通过混合块坐标上升算法与Nyström低秩近似进行求解，在四个异构领域的实验中报告了匹配或超越穷举网格搜索的精度以及最高100倍的训练加速。
02 关键点
- 将核超参数学习与SVM对偶变量优化统一为连续双层次联合优化问题。
- 结合块坐标上升与Nyström低秩近似，将计算复杂度降至O(Nm)。
- 在生物信息、金融、网络安全与计算机视觉四个领域开展实验。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG