世界模型仲裁器整合冻结策略提升目标条件强化学习
原始标题 / World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning
该工作提出一种测试时框架，无需重新训练策略，而是将多个冻结的目标条件策略组合成一个投资组合，在每个状态通过世界模型想象未来并选择最优策略执行。其新意在于用共享价值函数比较异构策略，避免切换过于频繁。在OGBench的18个状态数据集上，宏观平均成功率从44%提升至58%，为离线目标条件强化学习提供了一种即插即用的策略整合方案。
01 摘要
论文指出离线目标条件强化学习中不存在单一算法在所有环境、目标和任务阶段都最优。作者提出World-Model Policy Arbiter (WMPA)，以一组冻结策略为输入，通过世界模型展开想象未来并用共享目标条件价值函数评分，选择最高分策略执行一段承诺区间。在OGBench官方协议下，WMPA将宏观平均成功率从44%提升至58%，12个数据集上提升显著。
02 关键点
- WMPA以一组冻结的目标条件策略为输入，无需重训练或任务特定知识。
- 通过在世界模型中展开每个策略的想象未来，用共享目标条件价值函数评分，选择最优策略执行短承诺区间。
- 在OGBench的18个状态数据集上，宏观平均成功率从44%提升至58%，12个数据集提升显著，包括cube-double-play +33个百分点和scene-play +36个百分点。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG