大语言模型人权对齐基准UDHRBench发布：效率与中立说辞成违规主因
原始标题 / UDHRBench: Benchmarking Human Rights in Large Language Models
该研究构建了覆盖《世界人权宣言》全部30条条款的1124道人权质询问题，并收集四个大语言模型共4496条回答，由专家人工标注对齐情况（标注者间一致性κ=0.801）。新意在于首次将人权合规评估操作化为可复现的基准数据集，并揭示模型违规多源于诉诸效率、风险管理或科学中立等看似理性的推理，而非直接否定权利。同时提出基于零样本与少样本提示的LLM-as-a-Judge自动评估框架，加权F1达89.8%，以及量化法官模型在模糊案例中裁决倾向的Alignment Leniency Sc
01 摘要
事实：研究发布了UDHRBench基准，包含1124道覆盖《世界人权宣言》30条条款的人权质询问题，以及ChatGPT、Grok、Gemini、Fanar四个模型共4496条回答，由专家人工标注对齐情况，标注者间一致性κ=0.801；分析发现模型违规通常通过诉诸效率、风险管理或科学中立等看似理性的推理出现，而非直接拒绝权利；研究还提出LLM-as-a-Judge评估框架，加权F1为89.8%，并引入Alignment Leniency Score。作者观点：模型与国际人权标准之间存在系统性的、非平凡的对齐偏差；自动评估框架可用于规模化检测人权对齐问题。
02 关键点
- UDHRBench覆盖《世界人权宣言》全部30条条款，含1124道人权质询问题与四个大语言模型共4496条回答，专家标注一致性κ=0.801。
- 模型违规多通过效率、风险管理或科学中立等理性化说辞出现，而非明确拒绝人权。
- LLM-as-a-Judge框架在零样本与少样本提示下检测人权错位达到89.8%加权F1，并引入Alignment Leniency Score量化法官模型在模糊案例中的裁决倾向。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL