视频理解与时序 / CVPR2026
W2W:基于语言模型与强化学习的轨迹预测
W2W: Language-Model-Based Trajectory Prediction with Reinforcement Learning
把行人轨迹与交互线索(同行/跟随/障碍)转成可解析文本提示,再用 T5-Small 两阶段训练(交叉熵监督微调 + 以 ADE 与越野惩罚为奖励的强化学习)做轨迹预测;对做视觉时序预测的人,这是一个可复用的「语言模型 + RL 奖励约束」范式,尤其适合把场景约束写进奖励函数而非损失函数。
轨迹预测强化学习微调语言模型