回环授权让大模型团队报告质量下降
原始标题 / Loop-Back Authority in LLM Agent Teams: A Paired Experiment on Flat and Hierarchical Coordination
新发现在于:在开放式商业智能报告任务中,层级团队授权经理将工人输出退回修改,反而降低报告质量;相比扁平团队,其效用与写作清晰度得分更低,且报告使用更多模糊限制词。这为多智能体框架默认设置经理修改权提供了反面证据。
01 摘要
研究通过43对笔记本电脑产品、86次运行的配对实验,比较层级团队与扁平团队撰写开放式商业智能报告。事实是扁平团队报告在效用和写作清晰度上得分更高,层级团队报告长度相同但多53%的模糊限制词,每次修改对应写作清晰度下降0.14分。作者观点认为,当经理能验证工作时授权提升质量,否则仅能提供反馈时授权产生负面影响。
02 关键点
- 扁平团队报告在效用(d=0.42,p=0.009)与写作清晰度(d=0.34,p=0.030)上优于层级团队。
- 层级团队首稿与扁平团队报告无法区分,质量差距可追溯到修改环节。
- 层级团队报告使用模糊限制词多53%,每次修改对应写作清晰度下降0.14分(1至5分制)。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.CL · ARXIV Q-FIN