语言模型智能体的策略记忆与信念修正用于非平稳配对交易

01 摘要

论文研究分层序贯决策中的信用分配难题，以配对交易为场景，高层语义选择约束下游执行且反馈延迟模糊。作者提出语言驱动的优化框架，两级策略均由LLM通过提示更新优化，利用轨迹和回合级文本反馈适应非平稳市场。实验显示在真实市场数据上优于传统及LLM基线。

02 关键点

1. 将配对交易形式化为分层强化学习问题，分离高层资产对选择与低层执行。
2. 高层与低层策略均由大语言模型参数化，仅通过提示更新优化，不进行梯度微调。
3. 利用轨迹级和回合级文本反馈进行信用分配，减少层级间非平稳性并实现针对性适应。