Tag · 4 篇
奖励设计
SARL-STG:用于精炼多模态大语言模型时空视频定位的空间感知强化学习框架
SARL-STG: A Spatially Aware Reinforcement Learning Framework for Refining MLLMs in Spatio-Temporal Video Grounding
把开放词表检测器的空间定位质量作为强化学习奖励信号,反向驱动 MLLM 的时序推理,为视觉语言模型在视频定位任务中提供了一种可复用的「空间反馈时序」训练范式。
RLFTSim:通过强化学习微调实现真实且可控的多智能体交通仿真
RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning
对做自动驾驶仿真与轨迹预测的研究者,这篇给出了用强化学习微调替代开环监督训练、以低方差稠密奖励把仿真 rollout 分布对齐真实数据的具体做法,可直接迁移到自车规划器的闭环评测与可控场景生成。
GeoAgent:借助强化地理特征学习在任意地点进行地理定位
GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics
把地理相似性奖励与一致性奖励引入强化学习训练,为视觉语言模型在细粒度地理定位任务上提供可复用的奖励设计与专家标注思维链数据构建思路。
DEVA:面向视觉感知任务的多模态大语言模型微调
DEVA: Fine-tuning Multimodal Large Language Models for Visual Perception Tasks
对做视觉感知任务的 MLLM 微调者,这篇给出了 GRPO 训练动力学的失效分析(多样性下降、探索受限、奖励聚合次优),并给出可插拔的改进:基于流的训练目标提升多样性、全局熵正则扩大探索、以对齐度作为非可验证奖励配合调和聚合,可直接套用到检测/定位等视觉感知的 RL 微调流程中。