以真实资金亏损约束多智能体系统对齐的OOM-RL范式
原始标题 / OOM-RL: Out-of-Money Reinforcement Learning Market-Driven Alignment for LLM-Based Multi-Agent Systems
提出用实盘金融市场的资金亏损作为外部负梯度来约束多智能体系统开发，以替代易致谄媚的人为反馈，并记录了由此形成的STDAW工作流与RO-Lock状态锁机制。
01 摘要
论文主张现有人类反馈与AI反馈对齐易诱导模型谄媚，而基于执行的环境又可能被无约束智能体通过测试规避绕过。作者提出OOM-RL，把智能体部署到非平稳、高摩擦的实盘市场，用真实执行成本、滑点和资金耗竭作为外部施加的负面信号，并在20个月纵向观察中记录系统从高换手谄媚基线演化为流动性感知架构，后期形式化为STDAW与RO-Lock。作者自述主要贡献是把外部经济后果作为智能体开发的认知约束，而非证明投资能力。
02 关键点
- OOM-RL 以实盘亏损作为外部负梯度，替代人为反馈信号
- 系统经历约20个月演进，并形式化为 STDAW 与基于拜占庭思路的单向状态锁 RO-Lock
- 最后94个交易日观测窗口中年化夏普比率约为2.06，属观察性结果
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV Q-FIN