部分信息下最优交易的深度强化学习

01 摘要

论文研究交易信号服从带区制转换参数的Ornstein-Uhlenbeck过程时的最优交易问题，将其表述为需要从可观测历史推断隐状态的部分可观测马尔可夫决策问题。作者提出三种基于强化学习的方法，并用循环神经网络过滤隐状态：一步法将GRU隐状态直接编码进交易智能体，两种两步法分别使用均值回归区制的后验概率估计和下一信号值预测。模拟与股票配对交易实证表明，提供后验概率估计在累计奖励和策略可解释性上表现更优，作者据此认为供给智能体的信息质量与结构对交易表现和政策可解释性很重要。

02 关键点

1. 问题设定为交易信号服从带区制转换参数的OU过程，且交易者只能从可观测过程历史推断隐信息，构成部分可观测马尔可夫决策问题。
2. 研究比较三种RNN与RL结合的方法：一步法直接编码GRU隐状态；两步法分别使用均值回归区制的后验概率估计和下一信号值预测。
3. 模拟与股票配对交易实证结果显示，提供后验概率估计的方法累计奖励更优且策略更具可解释性。