Tag · 7 篇
强化学习与可验证奖励
稳定高效的单次采样强化学习用于多模态推理
Stable and Efficient Single-Rollout RL for Multimodal Reasoning
针对多模态大模型强化学习微调中单次采样不稳定的问题，提出基于熵的优势塑造机制，可复用于视觉语言模型的RLVR训练，提升样本效率并防止训练崩溃。
ReLaX：面向大型推理模型的潜空间探索推理
ReLaX: Reasoning with Latent Exploration for Large Reasoning Models
ReLaX 利用 Koopman 算子理论对 LRM 的隐藏状态动力学进行线性化建模，并提出动态谱离散度（DSD）指标来量化潜空间探索程度，为视觉-语言模型中的强化学习微调提供了一种超越词元级多样性的探索调控手段，可直接用于多模态推理任务的策略优化。
感知证据锚定的强化学习用于多模态推理
Perceptual-Evidence Anchored Reinforced Learning for Multimodal Reasoning
将视觉感知验证作为强化学习奖励的锚点，通过感知检查表生成辅助奖励来约束推理过程，可复用于任何需要提升视觉证据忠实度的VLM推理任务。
PDCR：面向视觉语言推理的感知分解置信度奖励
PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning
对做 VLM 推理训练的人，这篇给出了一个可直接复用的奖励塑形思路：用模型内部的 Visual Dependence Score 把推理链中的视觉感知步与文本推理步分开，再在各自簇内归一化置信度增益，避免稀疏视觉步的信号被密集文本步淹没；该分解与归一化流程可迁移到任何带思维链的多模态强化学习训练中。
MedMO：面向医学图像的多模态大语言模型视觉定位与理解
MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images
MedMO 的多阶段训练配方（跨模态预训练对齐异构视觉编码器、多任务指令微调、带 GIoU 框级奖励的强化学习）为医学视觉-语言模型提供了可复用的训练范式，尤其其框级 GIoU 奖励可直接用于提升视觉定位任务的空间推理能力。
从经验中学习选择视觉工具
Learning to Select Visual Tools from Experience
VisTA 将工具选择建模为强化学习问题，利用可验证奖励（RLVR）端到端训练视觉智能体，使其能根据查询动态组合工具库中的工具。对视觉研究者而言，这提供了一种无需人工标注的、经验驱动的工具编排范式，可迁移到需要多工具协同的复杂视觉推理任务（如图表理解、几何推理）。
通过激活重放提升大型多模态模型的推理能力
Boosting Reasoning in Large Multimodal Models via Activation Replay
提出一种无需训练的测试时干预方法：通过操纵视觉 token，将基座 LMM 的低熵激活重放到 RLVR 后训练的 LMM 中，以提升多模态推理性能。该方法可复用于任何基于 RLVR 微调的视觉语言模型，以缓解推理覆盖变窄的问题。