Tag · 6 篇
信用分配
通过免训练奖励归因解锁词元奖励
Unlocking Token Rewards via Training-Free Reward Attribution
对做多模态大模型推理（如 MathVista 上的视觉数学推理）的研究者，这篇给出了一个免训练、单次前向+反向即可从现有 PRM 中提取词元级奖励的方法，可直接替换 RL 微调中的结果奖励做更细粒度的信用分配，无需再训练奖励模型。
面向流匹配模型 GRPO 的逐步信用分配
Stepwise Credit Assignment for GRPO on Flow-Matching Models
把扩散/流匹配的采样步按「低频结构 vs 高频细节」分层做信用分配，可直接迁移到任何用 GRPO/RLHF 微调图像或视频生成模型的后训练流程，提升样本效率与收敛速度。
RebRL：以重平衡时间步信用强化离散视觉扩散模型
RebRL: Reinforcing Discrete Visual Diffusion Models with Rebalanced Timestep Credits
针对离散扩散（掩码生成）模型在 RL 微调时各时间步信用分配不均的问题，提出按掩码阶段重新平衡时间步权重的即插即用策略，可直接用于改进视觉生成模型的 RLHF/偏好对齐训练流程，并减少约 40% 训练步数。
GUI-SAGE：以自解释学习增强 GUI 自动化
GUI-SAGE: Enhancing GUI Automation with Self-Explanatory Learning
对做视觉智能体（GUI/具身）的人，这篇给出一个可复用思路：用真值动作条件化生成同分布推理轨迹，替代分布外专家示范，避免熵坍缩；配合熵调制的信用分配，把置信度与奖励联合加权，可直接迁移到视觉-语言-动作策略的 RL 微调。
细粒度 GRPO：面向流模型的精确偏好对齐
Fine-Grained GRPO for Precise Preference Alignment in Flow Models
把 GRPO 式在线 RL 的信用分配细化到单步 SDE 扰动，并跨多个扩散尺度聚合优势，可直接迁移到任何 flow/diffusion 模型的偏好对齐与奖励微调流程中。
AVATAR：通过强化学习在视频上看见、听见与推理
AVATAR: Reinforcement Learning to See, Hear, and Reason Over Video
对做视频多模态推理的人，这篇给出了一个可直接复用的强化学习后训练配方：用离策略样本回放缓解 GRPO 的组内奖励同质化（优势消失），并用时序优势塑形把信用集中到规划与综合两端阶段，可迁移到任意视频/音视频 VLM 的 RL 微调流程。