TextualRL：用文本强化学习管理上下文，提升智能体表现

01 摘要

论文指出，LLM 智能体可以通过修订文本上下文来适应任务反馈，而无需改动模型参数；但将执行奖励转化为可复用上下文更新存在困难。TextualRL 作为无梯度框架，把同一任务同一上下文下的一组 rollout 作为策略批评单元，通过组内政策批评与跨组政策更新生成有界文本补丁，并由留出验证奖励决定是否采纳。论文在五个目标智能体与六个基准上评估，称平均测试准确率较基础模型提升，但这是作者报告的结果，仍需独立复现。

02 关键点

1. TextualRL 以同任务同上下文下的一组 rollout 而非单条轨迹作为策略批评单元，对比成功与失败以提取修订信号。
2. 组内结果一致时，方法会利用跨任务证据识别值得保留的行为或提出修复假设，再经跨组证据池审查。
3. 审查后的提案形成有界文本补丁，候选上下文的采纳由留出验证奖励决定，构成奖励驱动的策略优化循环。