生成式奖励建模

MSRL：通过多阶段强化学习扩展生成式多模态奖励建模

MSRL: Scaling Generative Multimodal Reward Modeling via Multi-Stage Reinforcement Learning

对做视觉生成与理解评测的人，这篇给出了一个可复用的思路：用大规模纯文本偏好数据先训练出可泛化的奖励推理能力，再经 caption 阶段和全多模态 RL 阶段迁移到视觉奖励模型，从而在缺少多模态偏好标注时也能扩展 MRM 训练；其中的跨模态蒸馏环节可直接用于提升视觉奖励模型的偏好泛化。