合作多智能体强化学习在预测市场做市中的应用研究

01 摘要

研究将Polymarket的L2数据重构为订单级LOBSTER格式，并在417个真实市场上用JaxMARL-HFT训练做市智能体。作者提出将做市分解为报价者与风险管理者两个合作智能体，并发现奖励塑形（奖励混合与成交后markout）能显著改善分解策略的表现。但单智能体重设计虽报价更频繁且持有期损失更小，所有配置均未在定期留出评估中实现正的平均组合价值，且仅使用一个随机种子训练。

02 关键点

1. 重构Polymarket订单级数据以支持仿真训练，并设计合作多智能体分解（报价者+风险管理者）用循环IPPO训练。
2. 奖励塑形（奖励混合与成交后markout）缓解信用分配问题，使分解策略表现大幅提升并成为最佳结果。
3. 重设计的单智能体做市商报价更频繁且持有期损失更小，但观察、动作与风险约束的联合改动贡献无法单独识别。
4. 所有配置在留出市场的定期评估中均未实现正的平均组合价值，且每个配置仅训练一个种子。