MENTOR框架：元认知自进化揭示并缓解LLM隐式领域风险
原始标题 / MENTOR: A Metacognition-Driven Self-Evolution Framework for Uncovering and Mitigating Implicit Domain Risks in LLMs
研究构建了覆盖教育、金融、管理三个领域的3000条标注查询数据集，发现14个主流LLM平均越狱成功率达57.8%，并据此提出元认知驱动的自进化框架MENTOR，通过自评估、规则引导推理和选择性元认知进化循环降低攻击成功率。
01 摘要
作者构建了3000条领域标注查询数据集，评估14个LLM发现平均越狱成功率为57.8%。作者提出MENTOR框架，结合单次规则推理与选择性元认知进化循环，修正不安全响应并蒸馏规则为激活级引导信号。实验显示MENTOR在所有测试领域降低攻击成功率并优于现有安全对齐方法。
02 关键点
- 构建了教育、金融、管理三个领域的3000条标注查询数据集，用于评估隐式领域风险。
- 14个领先LLM平均越狱成功率达57.8%，暴露当前安全措施的不足。
- MENTOR通过元认知自评估、规则图蒸馏和激活级引导信号实现自进化安全对齐。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL