离策略训练

AVATAR：通过强化学习在视频上看见、听见与推理

AVATAR: Reinforcement Learning to See, Hear, and Reason Over Video

对做视频多模态推理的人，这篇给出了一个可直接复用的强化学习后训练配方：用离策略样本回放缓解 GRPO 的组内奖励同质化（优势消失），并用时序优势塑形把信用集中到规划与综合两端阶段，可迁移到任意视频/音视频 VLM 的 RL 微调流程。