Q学习定价代理的算法合谋未必依赖惩罚机制

01 摘要

独立Q学习代理在模拟Bertrand双寡头中收敛到高于竞争的价格，经典解释认为这源于学到的报复式惩罚。作者冻结策略关闭学习后审计发现，十对中有九对（1024个状态中914个）整个状态空间都属于单一吸引域，任何扰动都会回到原状态，强制涨价与降价触发相同反应。作者指出，合谋之所以维持是因为偏离从未被尝试，而非偏离无利可图。

02 关键点

1. 冻结策略审计显示，9/10的收敛配对中单一吸引域覆盖全部状态空间，报复模式不具选择性。
2. 用动态规划计算的真正最优偏离平均获利17.5%，而经典测试中的单期降价偏离在92%的配对中无利可图。
3. 独立训练后重新配对冻结代理，协调效应下降80%，说明协调依赖特定配对而非可迁移策略。