投资组合强化学习中的奖励对齐证书

01 摘要

在金融强化学习中，智能体可能准确优化一个加性风险调整奖励，却执行了不同的金融偏好。作者开发了一种针对终端均值-方差均衡的决策审计，利用演员、奖励和延续评论家残差来界定改变单个动作的收益上限。实验表明，该方法能减少策略距离和单步偏离收益，但联合奖励校准并未改善实际投资表现。

02 关键点

1. 提出一种证书，利用演员、奖励和延续评论家残差来界定改变单个动作的收益，忽略状态常数评论家偏移并适应凸动作约束。
2. 在九个受控市场和二十个随机种子中，延续感知的演员-评论家方法降低了策略距离和单步偏离收益。
3. 在432个月、7个协方差估计器和10、30、49个美国行业投资组合的回测中，联合奖励校准保持了拟合的均值-方差目标，但未改善实际投资表现。