交互约束离线强化学习应对驾驶分布偏移
原始标题 / Beyond Policy Support: Interaction Constrained Offline Reinforcement Learning for Autonomous Driving
该工作指出离线强化学习在自动驾驶中不仅需控制自车动作的策略分布偏移，还需控制自车与周围智能体未来轨迹联合支撑的退化，称为交互分布偏移（IDS）。作者提出ICDP框架，通过对比密度比估计从联合数据分布中恢复残差交互支撑分量，无需联合密度建模或反应式模拟器即可在策略优化中抑制高价值但交互不支持的轨迹选择。
01 摘要
作者认为，在自动驾驶等交互环境中，仅约束策略自身动作空间的分布偏移不足以保证离线强化学习的安全与有效，因为候选自车轨迹可能边际支撑良好但与日志中周围智能体行为联合支撑差。为此提出交互分布偏移（IDS）概念，并证明联合支撑退化可精确分解为自车支撑与残差交互支撑两部分。ICDP利用对比密度比估计恢复残差交互支撑，避免显式联合密度建模、周围智能体预测或反应式模拟器。
02 关键点
- 提出交互分布偏移（IDS）：自车轨迹与周围智能体未来联合支撑不足，而非仅策略动作空间偏移。
- 联合支撑退化可分解为自车支撑分量与残差交互支撑分量。
- ICDP通过对比密度比估计恢复交互兼容性，无需联合密度建模、周围智能体预测或模拟器rollout。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG