重规划引导的视觉记忆助力长程VLA策略

01 摘要

长程多阶段VLA策略常需当前观测中已消失的视觉信息，全量保留历史计算昂贵且冗余，故需选择性视觉记忆。RePlanMem-VLA将策略重规划时相邻动作块对同一未来动作预测的异常大分歧视为任务相关事件，触发有界视觉记忆更新。在单任务自回归解码器和Flow-Matching Transformer上比较35种分歧度量，于OpenVLA-OFT和π0.5策略的MIKASA-Robo-VLA任务验证，检测器ROC-AUC达0.981-0.997，记忆保留实验100%保留任务相关观测至后续决策点。

02 关键点

1. 将重规划时动作预测间的大分歧作为在线记忆写入信号。
2. 在多种VLA架构和预训练策略上验证事件检测，ROC-AUC达0.981-0.997。
3. 记忆保留实验中100%保留任务相关观测至后续决策点。