大推理模型思维链安全风险与轻量检测新基准
原始标题 / ReasoningShield: Safety Detection over Reasoning Traces of Large Reasoning Models
该研究系统揭示了大推理模型（LRMs）的思维链（CoT）会引入独特的隐蔽安全威胁：有害内容可嵌入中间步骤，而最终答案看似无害。现有主流审核工具在CoT场景下性能大幅下降（F1最多降低35.2%）。为此，作者发布ReasoningShield基准（含9.2K标注样本）并训练了1B/3B轻量模型，在CoT安全审核上达到91.8% F1，显著优于LlamaGuard-4和GPT-4o，且能跨推理范式与未知场景泛化。这为AI安全审核从答案层转向推理过程层提供了可复用的数据、模型和评测
01 摘要
研究发现，大推理模型的思维链中间步骤可能包含有害内容，而最终答案却显得无害，导致现有审核工具在CoT审核上F1最多下降35.2%。作者构建了包含9.2K条（Query, CoT）对、覆盖10类风险、3个安全等级和8个LRM范式的ReasoningShield基准，并基于两阶段训练开发了1B/3B轻量模型，取得91.8% F1，比LlamaGuard-4高35.6%、比GPT-4o高15.8%。作者认为该基准和模型能有效泛化到多种推理范式和未知场景，但泛化能力仍需独立验证。
02 关键点
- 揭示CoT中间步骤可嵌入有害内容而最终答案无害的独特安全风险，现有审核工具在此场景下F1最多下降35.2%。
- 发布ReasoningShield基准，含9.2K标注（Query, CoT）对，覆盖10个风险类别、3个安全等级、8个LRM和不同推理范式。
- 基于两阶段训练开发的1B/3B轻量模型，在基准上达91.8% F1，比LlamaGuard-4高35.6%，比GPT-4o高15.8%，并报告了跨范式与未知场景的泛化效果。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL