Tag · 94 篇
强化学习微调
为什么RL比SFT泛化更好？基于数据视角的VLM后训练分析
Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training
提出基于样本难度的数据筛选策略（DC-SFT），可替代RL微调以更低成本提升VLM的OOD泛化，为视觉语言模型后训练提供数据侧改进思路。
WebGym：面向长程视觉网页智能体的大规模训练环境与真实任务
WebGym: Scaling Training Environments for Long-Horizon Visual Web Agents with Realistic Tasks
提供了一个可扩展的视觉网页智能体 RL 训练环境与高吞吐异步 rollout 系统，视觉研究者可借鉴其「自采样轨迹 + 任务奖励」的 RL 配方与异步采样加速思路，用于训练以截图/网页渲染为观测的 VLM 智能体。
W2W：基于语言模型与强化学习的轨迹预测
W2W: Language-Model-Based Trajectory Prediction with Reinforcement Learning
把行人轨迹与交互线索（同行/跟随/障碍）转成可解析文本提示，再用 T5-Small 两阶段训练（交叉熵监督微调 + 以 ADE 与越野惩罚为奖励的强化学习）做轨迹预测；对做视觉时序预测的人，这是一个可复用的「语言模型 + RL 奖励约束」范式，尤其适合把场景约束写进奖励函数而非损失函数。
视觉感知思维链：在统一模型中实现高保真视觉一致性
Visual-Aware CoT: Achieving High-Fidelity Visual Consistency in Unified Models
将视觉一致性显式纳入统一模型的推理过程，通过自适应视觉规划生成检查清单，并利用迭代视觉修正与流式GRPO强化学习提升多参考生成中的视觉保真度，为可控生成提供了可复用的自反思框架。
VisionLeaf：面向高效准确 think-with-image 的熵引导叶优先推理
VisionLeaf: Entropy-Guided Leaf-First Reasoning for Efficient and Accurate Think-with-Image
把 GRPO 的树式 rollout 从根节点扩展改为从叶节点按熵选择扩展，可直接迁移到任何多轮视觉推理 VLM 的强化学习训练中，在不改模型与数据的前提下同时降低推理轮数并提升准确率。
VisPlay：自演化视觉语言模型
VisPlay: Self-Evolving Vision-Language Models
把无标注图像变成自生成视觉问答的监督信号，用 GRPO 的多样性与难度奖励联合训练提问器和推理器，可作为 VLM 视觉推理与幻觉抑制的可复用自训练流程。
VideoAuto-R1：思考一次、回答两次的视频自动推理
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
提出「按需推理」机制：用初始答案的置信度决定是否触发思维链，可直接迁移到视频问答、视觉定位等 VLM 推理流程中，在几乎不掉点的前提下把平均输出长度压缩 3.3 倍，是降低多模态大模型推理延迟的可复用策略。
VAST：面向数据高效视频推理的视频能力分层分类体系
VAST: Video Ability-Stratified Taxonomy for Data-Efficient Video Reasoning
对做视频 MLLM 推理的人，这篇给出了按「感知-推理-认知」能力分层组织训练数据、并用一致性奖励做 RL 微调的配方，可在不改架构的前提下大幅降低 RL 训练所需的样本量与 GPU 时数，VAST-Bench 也可直接作为能力分层评测集使用。
正确的VAR强化学习：解决视觉自回归生成中的异步策略冲突
VAR RL Done Right: Tackling Asynchronous Policy Conflicts in Visual Autoregressive Generation
针对VAR模型在强化学习微调中因异构输入结构导致的异步策略冲突问题，提出稳定中间奖励、动态时间步重加权和掩码传播算法，为视觉自回归生成模型的RL对齐提供了可复用的技术方案。
通过免训练奖励归因解锁词元奖励
Unlocking Token Rewards via Training-Free Reward Attribution
对做多模态大模型推理（如 MathVista 上的视觉数学推理）的研究者，这篇给出了一个免训练、单次前向+反向即可从现有 PRM 中提取词元级奖励的方法，可直接替换 RL 微调中的结果奖励做更细粒度的信用分配，无需再训练奖励模型。
面向视觉语言模型的统一生成与自验证：基于优势解耦的偏好优化
Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization
把生成与自验证统一进单个 VLM 策略，用解耦优势与词元掩码隔离梯度，可在不额外训练验证模型的前提下实现并行测试时扩展，直接降低多模态推理的推理成本；其偏好验证奖励设计可迁移到任意需要自洽性打分的视觉语言任务。
边生成边思考：在视觉生成过程中交错嵌入文本推理
Thinking-while-Generating: Interleaving Textual Reasoning throughout Visual Generation
把文本推理链交错插入到视觉生成的时间轴上，让模型在生成局部区域时同步进行引导与反思；这一「边生成边推理」的调度方式可直接迁移到自回归图像生成、视频生成以及可控生成的条件注入设计中。
以编程视觉思考：迈向用图像思考的统一视角
Thinking with Programming Vision: Towards a Unified View for Thinking with Images
把「生成代码调用任意图像操作」作为统一工具接口，替代固定工具注册表，并用稠密过程奖励的强化学习训练多轮工具组合与运行时错误恢复；做视觉推理、工具增强 VLM 或多模态 agent 的工作可直接复用该框架与配套的朝向变化鲁棒性基准。
以 3D 思考：基于有限视角的几何想象驱动空间推理
Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views
把 VLM 推理过程中的隐状态与 VGGT 等 3D 基础模型输出的几何潜变量对齐，使模型在无 3D 先验输入时也能进行「脑内 3D 想象」，为视觉研究者提供了一条把 3D 几何表征注入多模态推理的可复用路径。
TextPecker：以奖励方式量化结构异常以增强视觉文本渲染
TextPecker: Rewarding Structural Anomaly Quantification for Enhancing Visual Text Rendering
把「结构异常感知」做成可微/可打分的奖励信号，用于对任意文生图模型做 RL 微调；对做可控生成、奖励建模或 OCR 辅助生成的研究者，这套字符级异常标注数据集 + 笔画编辑合成引擎可直接复用来构造更干净的奖励。
TTRV：面向视觉语言模型的测试时强化学习
TTRV: Test-Time Reinforcement Learning for Vision Language Models
把 GRPO 式的强化学习从训练阶段搬到推理阶段：对每个测试样本多次采样，用基座模型输出频率构造奖励，并加入经验分布熵正则控制多样性，从而在无任何标注的情况下在线提升 VLM 的识别与 VQA 表现，可直接复用于任意现成 LVLM 的测试时增强。
合成课程强化组合式文本到图像生成
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
用场景图定义组合难度并配合 MCMC 图采样构造由易到难的训练课程，再接入 GRPO 做强化学习微调，这套「难度感知课程 + 策略优化」流程可直接迁移到扩散或自回归 T2I 模型的组合能力提升上。
StyleDoctor：面向以风格为中心的生成任务的专家奖励模型
StyleDoctor: Towards Specialist Reward Model for Style-centric Generation Tasks
为风格化扩散生成提供可复用的风格感知奖励模型，可直接接入 RLHF/奖励微调流程，替代通用人类偏好奖励模型来提升风格一致性与文图对齐。
面向流匹配模型 GRPO 的逐步信用分配
Stepwise Credit Assignment for GRPO on Flow-Matching Models
把扩散/流匹配的采样步按「低频结构 vs 高频细节」分层做信用分配，可直接迁移到任何用 GRPO/RLHF 微调图像或视频生成模型的后训练流程，提升样本效率与收敛速度。
面向细粒度开放世界分类的特异性感知强化学习
Specificity-aware reinforcement learning for fine-grained open-world classification
为视觉语言模型在开放世界细粒度分类中提供了一种基于强化学习的微调框架，通过动态验证器奖励平衡预测的正确性与特异性，可复用于其他需要提升生成具体性的视觉语言任务。
SpatialReward：面向文本到图像生成中细粒度空间一致性的可验证空间奖励建模
SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation
提供了一套可验证的空间奖励建模流程：用提示词分解器抽取实体与空间元数据，用专家检测器做视觉定位，再用视觉语言模型做思维链推理判断空间关系，可直接作为强化学习微调 T2I 模型（SD、FLUX）的奖励信号，也可复用其 SpatRelBench 评测生成图像的空间一致性。
SketchVL：通过细粒度信用分配的策略优化用于图表理解及其他任务
SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More
把中间推理步骤以「在图上画标记」的形式外化并回灌给模型，再用过程奖励模型对每一步打分做细粒度信用分配，这套「视觉标注式思维链 + 步级 RL」可直接迁移到需要精确空间定位的视觉推理任务（图表、几何、文档、计数）。
看见即改进：用于迭代文本布局精修的视觉反馈
Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement
把渲染后的图像作为反馈信号，通过带 OCR 准确率奖励的强化学习驱动 MLLM 迭代自我修正，这一「渲染-评估-重生成」闭环可直接迁移到任何需要视觉结果校验的生成式设计任务（如海报排版、UI 生成、图文合成）。
超越 8 比特：HDR-UGC 视频的主客观质量评估
Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos
提供了 HDR-UGC 主观质量数据集与 HDR 感知视觉编码器，可复用于任何需要高动态范围输入的感知模型；HAPO 的 HDR-SDR 对比 KL 与高斯加权回归奖励，是把 RL 微调锚定到特定成像线索上的可迁移范式。
Saliency-R1：通过显著性图对齐奖励强化可解释且忠实的视觉语言推理
Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward
提出一种无需额外计算开销的显著性图方法，可追踪视觉信息在推理链中的流动，并用显著性图与人工标注框的重叠度作为 GRPO 奖励，为 VLM 的视觉 grounding 与忠实性训练提供了可复用的奖励设计与归因工具。
STAR-R1：通过强化多模态大模型实现多视图空间变换推理
STAR-R1: Multi-View Spatial TrAnsformation Reasoning by Reinforcing Multimodal LLMs
把可验证奖励的强化学习（RLVR）与过程监督 SFT 两阶段结合，用于多视图空间变换推理；其「指代感知奖励」设计可直接迁移到需要跨视图物体对应的 VLM 空间理解任务（如 MMSI-Bench、MindCube 类基准）。
解决文生图生成中的身份危机
Resolving the Identity Crisis in Text-to-Image Generation
用 GRPO 加组合式奖励（人脸相似度惩罚、跨样本身份重复惩罚、人数计数约束）微调 flow-matching 文生图模型，为多人物生成中的身份坍缩提供了一套无需真实数据的可复用后训练范式。
强化视频目标分割在分割之前先思考
Reinforcing Video Object Segmentation to Think before it Segments
把 GRPO 强化学习与思维链初始化引入视频推理分割，用整体奖励同时约束空间对齐与时序一致性；对做指代分割或视频 grounding 的研究者，这是一套可直接迁移的「先推理再出掩码」训练范式，也提供了抑制 LVLM 幻觉的奖励设计思路。
通过强化学习精炼少步文本到多视图扩散模型
Refining Few-Step Text-to-Multiview Diffusion via Reinforcement Learning
把少步 T2MV 扩散的 RL 微调建模为联合多视图 MDP，并用自精炼采样构造优势信号、用拉格朗日对偶平衡单视图保真与跨视图一致性，可直接迁移到任何需要多输出协同一致性的少步扩散/流模型微调场景。
RebRL：以重平衡时间步信用强化离散视觉扩散模型
RebRL: Reinforcing Discrete Visual Diffusion Models with Rebalanced Timestep Credits
针对离散扩散（掩码生成）模型在 RL 微调时各时间步信用分配不均的问题，提出按掩码阶段重新平衡时间步权重的即插即用策略，可直接用于改进视觉生成模型的 RLHF/偏好对齐训练流程，并减少约 40% 训练步数。
基于组相对策略优化的实时长时空气质量预测
Real-Time Long Horizon Air Quality Forecasting via Group-Relative Policy Optimization
将GRPO与类别奖励、课程rollout结合，用于优化非对称代价下的时空预测，可迁移到视觉中的长时预测任务（如视频预测、气象场预测）以降低误报率。
ReMoT：基于运动对比三元组的强化学习
ReMoT: Reinforcement Learning with Motion Contrast Triplets
用规则化流程从视频元标注自动构造运动对比三元组，并以 GRPO 替代 SFT 训练 VLM 判别细微运动差异（如相反方向），为视频时序理解与具身/驾驶场景的时空一致性提供可复用的数据构造与强化学习后训练方案。
Re-Align：面向上下文图像生成与编辑的结构化推理引导对齐
Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing
将结构化思维链推理与强化学习结合，用于对齐多模态模型的理解与生成能力，可复用于需要精确遵循图文交错指令的图像生成与编辑任务。
RLFTSim：通过强化学习微调实现真实且可控的多智能体交通仿真
RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning
对做自动驾驶仿真与轨迹预测的研究者，这篇给出了用强化学习微调替代开环监督训练、以低方差稠密奖励把仿真 rollout 分布对齐真实数据的具体做法，可直接迁移到自车规划器的闭环评测与可控场景生成。
REVISOR：超越文本反思，面向长视频理解的多模态内省推理
REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding
把纯文本的自我反思扩展为跨文本与视觉片段的反思过程，并用 Dual Attribution Decoupled Reward 在 GRPO 中约束推理与所选视频证据的因果对齐；做长视频 VQA 或多模态推理的工作可以直接借用这套「视觉片段回溯 + 解耦奖励」的强化学习框架，无需额外监督微调或外部模型。
PromptLoop：基于潜变量反馈的即插即用提示词精炼框架，用于扩散模型对齐
PromptLoop: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment
把提示词精炼做成逐步闭环的 RL 策略：用 MLLM 读取扩散模型中间潜变量并逐步改写提示词，从而在不改权重的前提下实现奖励对齐，可直接迁移到文生图/编辑的偏好优化与少步采样场景。
Progress-Think：面向视觉语言导航的语义进度推理
Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation
把「指令执行到哪一步」显式建模为语义进度状态，并用视觉历史与指令前缀的可微对齐自举出该状态，再注入策略上下文——这套进度表征可直接迁移到任何长程视觉-语言序列决策任务（如视频指令跟随、具身操作），也可作为VLA模型的辅助推理头。
PointThinker：面向多模态大模型的点激励并行思维
PointThinker: Point-Incentivized Parallel Thinking for Multimodal Large Language Model
把「先列出多个视觉关键点、再以每个点为起点展开独立推理链」作为并行思维链的组织方式，并配合点级（dense）奖励的强化学习（GPPO）做自验证，可直接迁移到多模态推理、幻觉抑制等需要多路径推理的视觉语言任务中。
ParaUni：以强化学习驱动的层级并行信息交互增强统一多模态模型的生成能力
ParaUni: Enhance Generation in Unified Multimodal Model with Reinforcement-driven Hierarchical Parallel Information Interaction
把 VLM 各层特征并行抽取后经 Layer Integration Module 融合，作为扩散生成的条件信号，并用 RL 的层级动态调整机制对不同层施加不同奖励；做 VLM-conditioned 生成或想把多层语义注入扩散骨干的工作可直接复用这套并行条件注入与分层奖励设计。
PaCo-RL：以成对奖励建模推进一致性图像生成的强化学习
PaCo-RL: Advancing Reinforcement Learning for Consistent Image Generation with Pairwise Reward Modeling
把成对一致性奖励模型与 GRPO 结合，用无标注数据对生成模型做 RL 微调，并给出分辨率解耦的优化策略来降低 RL 训练成本；做多图一致性生成或想把主观视觉偏好转成奖励信号的工作可直接复用这套奖励建模与多奖励聚合思路。
OraPO：面向数据高效与事实准确的放射学报告生成的 Oracle 教育强化学习
OraPO: Oracle-educated Reinforcement Learning for Data-efficient and Factual Radiology Report Generation
把 GRPO 探索失败的样本通过轻量 oracle 步骤转成直接偏好监督，配合基于原子临床事实蕴含检查的句级稠密奖励，为视觉语言模型在低数据预算下做单阶段 RL 训练提供了可复用范式。
OddGridBench：揭示多模态大语言模型缺乏细粒度视觉差异敏感性
OddGridBench: Exposing the Lack of Fine-Grained Visual Discrepancy Sensitivity in Multimodal Large Language Models
OddGridBench 用可控网格图把「细粒度视觉差异检测」拆成颜色/大小/旋转/位置等单属性变量，可直接用来诊断任意 MLLM 的低层感知短板；OddGrid-GRPO 的距离感知奖励 + 课程学习配方也可迁移到其他需要空间定位精度的视觉定位训练中。
NoRD：一种无需推理的数据高效视觉-语言-动作模型
NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning
对做自动驾驶VLA的研究者，这篇论文表明无需推理标注、仅用不到60%数据，通过Dr.GRPO强化学习微调SFT策略即可达到竞争性性能，且推理词元减少3倍，为数据高效、低延迟的端到端驾驶模型提供了可复用的训练范式。
NS-Diff：流体纳维-斯托克斯引导的强化学习视频扩散
NS-Diff: Fluid Navier-Stokes Guided Video Diffusion via Reinforcement Learning
把简化的 Navier-Stokes 约束与最小加加速度原理写成可微/策略梯度的奖励，用来微调视频扩散模型，为「生成结果要符合物理」这类需求提供了可复用的 RL 后训练范式；其噪声鲁棒的运动区域检测与物理条件潜变量注入也可直接迁移到其他条件视频生成任务。
Monet：超越图像与语言的潜视觉空间推理
Monet: Reasoning in Latent Visual Space Beyond Image and Language
把中间推理步骤从文本 token 换成连续视觉嵌入，让 MLLM 在潜视觉空间里做多步推理，并给出 VLPO 把潜嵌入纳入策略梯度更新——做多模态推理、CoT 或 RL 微调的人可以直接复用这套三阶段蒸馏 SFT + 潜变量 RL 的训练配方。
MedLoc-R1：面向基于 GRPO 的医学视觉定位的性能感知课程奖励调度
MedLoc-R1: Performance-Aware Curriculum Reward Scheduling for GRPO-Based Medical Visual Grounding
把 GRPO 的固定 IoU 奖励换成随模型能力逐步收紧的课程式奖励调度，可直接迁移到任何用 RL 做框级/区域级定位的视觉语言模型训练中，缓解小目标奖励稀疏导致的策略梯度消失。
MedGRPO：面向异构医学视频理解的多任务强化学习
MedGRPO: Multi-Task Reinforcement Learning for Heterogeneous Medical Video Understanding
针对医学视频理解中多数据集奖励尺度不平衡导致RL训练崩溃的问题，提出跨数据集奖励归一化方法，将各数据集的中位性能映射到统一奖励值，使多任务强化学习稳定；同时引入医学LLM评判器从五个临床维度评估描述质量，为视觉-语言模型在专业领域的多任务RL微调提供可复用方案。
LongVideo-R1：面向低成本长视频理解的智能导航
LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding
把长视频问答建模为「由粗到细的主动片段导航」：用层级视觉摘要作为推理起点，让 MLLM 智能体逐步定位信息量最大的片段，并在信息足够时提前停止，从而在低算力预算下完成长视频理解；其两阶段 SFT+RL 训练与奖励设计可直接迁移到其他需要选择性采样的视觉-语言任务。
通过理解来生成：面向统一多模态模型的理解驱动内在奖励
Learning to Generate via Understanding: Understanding-Driven Intrinsic Rewarding for Unified Multimodal Models
把统一多模态模型的理解分支当作奖励模型，用 token 级文本-图像对齐内在奖励做自监督强化学习来提升 T2I 生成，为视觉研究者提供了一种无需外部偏好数据即可微调生成质量的思路。
JoPPO：基于对比联合条件概率强化学习的分层摄影评估
JoPPO: Hierarchical Photography Assessment via Contrastive Joint Conditional Probabilistic Reinforcement Learning
把 VLM 当作评分器时，用基于批内细粒度属性分数条件分布的期望胜率作为奖励，替代 GRPO 的标量奖励，可直接迁移到任何需要多属性组合排序的视觉评测任务（美学、生成质量、偏好对齐）。
InterPrior：面向基于物理的人-物体交互的可扩展生成式控制
InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions
提出一种从大规模模仿预训练到强化学习微调的可扩展生成式控制框架，利用多模态观测和高级意图重建全身运动，并通过物理扰动数据增强提升泛化能力，可为人形机器人的视觉-运动控制提供可复用的训练范式。
借助视觉线索的结果奖励强化学习激励生成式零样本学习
Incentivizing Generative Zero-Shot Learning via Outcome-Reward Reinforcement Learning with Visual Cues
把结果奖励强化学习用于生成式零样本学习的特征合成器，用类级视觉原型作为奖励信号与稳定项，可迁移到任何需要让生成器产出任务相关特征（而非仅语义一致）的条件生成场景。
以感知为中心的过程奖励模型改进视觉语言模型
Improving Vision-language Models with Perception-centric Process Reward Models
提供了一种可复用的过程奖励模型思路：把 VLM 回答拆成与图像相关的断言，逐条与视觉证据比对以定位感知幻觉片段，并将该信号转为 token 级优势用于 RL 训练或推理时的截断重生成，可直接用于缓解视觉幻觉与提升多模态推理。
用内在自置信度奖励改进文本到图像生成
Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards
用模型自身对加噪潜变量的重建误差构造内在奖励，替代外部奖励模型做强化学习后训练，可直接迁移到扩散/流匹配模型的偏好对齐与组合生成能力提升，并可与外部奖励组合以缓解奖励黑客。
基于奖励引导优化的身份保持图像到视频生成
Identity-Preserving Image-to-Video Generation via Reward-Guided Optimization
提出基于强化学习的奖励引导优化框架，通过人脸身份评分器反向传播奖励信号至采样链最后几步，并利用真实视频人脸特征池增强泛化性，为扩散模型的身份保持提供可复用技术。
HiCoGen：基于强化学习的扩散模型分层组合式文本到图像生成
HiCoGen: Hierarchical Compositional Text-to-Image Generation in Diffusion Models via Reinforcement Learning
把复杂提示拆成最小语义单元、逐步合成并让每步图像作为下一步视觉上下文，再用分层奖励的强化学习优化采样；其中「将随机性集中在前段以最大化样本多样性」的衰减随机性调度可直接用于任何扩散采样的探索增强。
HDR-VLM：面向 HDR 视频调色的视觉语言模型 HDR 域适配与偏好对齐质量评估
HDR-VLM: HDR-Domain Adaptation of VLMs and Preference-Aligned Quality Assessment for HDR Video Color Grading
把预训练 VLM 从 SDR 域迁移到 HDR 域的两阶段范式（HLG 统一编码 + 渐进适配 + 课程式奖励强化学习对齐人类偏好）可直接复用到其他「预训练模型域不匹配」的感知质量评估任务，其归因理由输出也为质量评估提供了可解释性接口。
GeoAgent：借助强化地理特征学习在任意地点进行地理定位
GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics
把地理相似性奖励与一致性奖励引入强化学习训练，为视觉语言模型在细粒度地理定位任务上提供可复用的奖励设计与专家标注思维链数据构建思路。
GenBreak：利用大语言模型对文本到图像生成进行红队测试
GenBreak: Red Teaming Text-to-Image Generation Using Large Language Models
对做 T2I 安全评测的人，这篇给出了一个可复用的红队提示词生成范式：用监督微调加多奖励强化学习训练一个 LLM 攻击者，同时优化提示词的隐蔽性与生成图像的毒性，可直接用于黑盒评测商用 T2I 生成器的安全对齐强度。
GRPO-Guard：通过受调控的裁剪缓解流匹配中的隐式过度优化
GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping
对做扩散/流匹配模型 RL 后训练的人，这篇给出了一个可直接替换 PPO clipping 的比值归一化 + 梯度重加权模块，用来防止代理奖励上涨而图像质量与文本对齐崩塌；可作为 SD3.5、Flux 等骨干上 GRPO 微调的稳定化插件。
GDRO：适用于扩散模型的组级奖励后训练
GDRO: Group-level Reward Post-training Suitable for Diffusion Models
对做扩散/整流流模型奖励对齐的人，GDRO 给出一个可复用的后训练范式：用组级奖励构造完全离线的目标，省掉在线图像采样 rollout，并摆脱 ODE-to-SDE 近似对随机采样器的依赖；同时提出把奖励黑客趋势纳入评测的修正分数，可直接用于评估任何 RL 微调的文生图模型。
GDPO-SR：面向单步生成式图像超分辨率的组直接偏好优化
GDPO-SR: Group Direct Preference Optimization for One-Step Generative Image Super-Resolution
将GRPO的组相对优势思想引入DPO，实现在线生成样本的偏好优化，并设计属性感知奖励函数动态评估局部细节，可复用于其他单步扩散复原任务（如去噪、去模糊）的微调。
从直觉到探究：面向可泛化人脸反欺骗的工具增强推理多模态大模型框架
From Intuition to Investigation: A Tool-Augmented Reasoning MLLM Framework for Generalizable Face Anti-Spoofing
把外部视觉工具（如放大、局部裁剪等细粒度分析算子）接入 MLLM 的推理链，并用 GRPO 类强化学习让模型自主决定何时调用工具，这一「工具增强思维链」范式可直接迁移到需要细粒度视觉证据的检测/鉴伪任务。
从失败到反馈：组修正解锁目标级视觉定位中的困难案例
From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding
提出组修正优化范式，通过生成修正候选并量化改进来构造塑形信号，缓解GRPO在困难样本上奖励稀疏的问题，可复用于视觉语言模型的强化学习微调。
Flash-DMD：以高效蒸馏与联合强化学习实现高保真少步图像生成
Flash-DMD: Towards High-Fidelity Few-Step Image Generation with Efficient Distillation and Joint Reinforcement Learning
把持续进行的时间步蒸馏损失当作正则项与 RL 目标联合训练，可稳定少步扩散模型的偏好微调并抑制奖励黑客；该联合训练范式可直接迁移到任何需要人类偏好对齐的少步图像生成器。
细粒度 GRPO：面向流模型的精确偏好对齐
Fine-Grained GRPO for Precise Preference Alignment in Flow Models
把 GRPO 式在线 RL 的信用分配细化到单步 SDE 扰动，并跨多个扩散尺度聚合优势，可直接迁移到任何 flow/diffusion 模型的偏好对齐与奖励微调流程中。
带着长期记忆去探索：面向具身探索的基准与基于多模态大语言模型的强化学习框架
Explore with Long-term Memory: A Benchmark and Multimodal LLM-based Reinforcement Learning Framework for Embodied Exploration
把多模态大语言模型用强化学习微调成会主动查询长期记忆的探索策略，并给出多目标导航+记忆问答的评测协议，可直接复用到视觉导航与具身探索中的记忆机制设计。
扩展与剪枝：最大化轨迹多样性以实现生成模型中有效的 GRPO
Expand and Prune: Maximizing Trajectory Diversity for Effective GRPO in Generative Models
Pro-GRPO 将基于潜变量的轨迹剪枝嵌入采样过程，通过提前终止奖励聚集的轨迹来降低计算开销，使大 group size 的 GRPO 训练在扩散/流模型中变得可行；其 Expand-and-Prune 策略可直接用于视觉生成模型的强化学习对齐。
EvoID：面向身份保持视频生成的强化演化
EvoID: Reinforced Evolution for Identity-Preserving Video Generation
把身份保持视频生成从静态模仿学习改写为强化学习自演化过程，用「客观指标 + MLLM 整体质量评估」构成双路动态奖励，并用冻结教师锚定学生模型；做视频生成后训练或奖励设计的工作可直接借鉴这套奖励组合与教师锚定策略。
EMO-R3：面向多模态大模型情感推理的反思式强化学习
EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models
把可验证的反思式奖励（视觉-文本一致性 + 情感连贯性）接进 GRPO 类强化学习流程，为视觉-语言模型在主观、难以标注的任务上提供了一条可复用的训练范式；结构化思维链模板也可迁移到其他需要可解释推理的视觉理解任务。
Dr. Seg：通过面向感知的设计重新审视视觉大语言模型的 GRPO 训练
Dr. Seg: Revisiting GRPO Training for Visual Large Language Models through Perception-Oriented Design
针对视觉感知任务（如推理分割）重新设计 GRPO 训练框架，提出 Look-to-Confirm 机制和 Distribution-Ranked Reward 模块，无需修改模型架构即可提升 VLLM 在复杂视觉场景下的感知性能，为将强化学习应用于视觉任务提供了可复用的训练策略。
视觉语言模型达标了吗？用 MeasureBench 对视觉测量读数进行基准评测
Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench
提供了一个可程序化合成仪表图像（指针、刻度、字体、光照、杂乱可控）的流水线，以及一个诊断 VLM 细粒度空间定位能力的基准；做 VLM 数值感知或空间 grounding 的研究可直接用它构造训练/评测数据，并验证 RFT 在合成数据上的迁移效果。
少做多得：扩散模型强化学习微调需要每一步优化吗？
Do Less, Achieve More: Do We Need Every-Step Optimization for RL Fine-tuning of Diffusion Models?
提出一种自适应确定RL微调最佳时间窗口的插件方法，可减少计算成本并提升生成质量，为扩散模型RL微调提供高效策略。
DiverseGRPO：通过多样性感知GRPO缓解图像生成中的模式坍缩
DiverseGRPO: Mitigating Mode Collapse in Image Generation via Diversity-Aware GRPO
针对GRPO微调扩散模型时出现的模式坍缩问题，提出基于语义聚类的分布级奖励和结构感知正则化，可直接用于提升文生图模型的输出多样性，同时保持生成质量。
基于行列式点过程引导策略优化的多样化视频生成
Diverse Video Generation with Determinantal Point Process-Guided Policy Optimization
把「一组采样的多样性」写成集合级奖励，用 DPP 对冗余样本施加递减收益、用 GRPO 做组内相对反馈，可直接套到任意 T2V/图像扩散模型的微调阶段，解决同一提示词多次采样结果雷同的问题。
解耦再耦合：解决主体驱动文生图生成中的相似性-可控性悖论
Disentangling to Re-couple: Resolving the Similarity-Controllability Paradox in Subject-Driven Text-to-Image Generation
把主体身份与修改指令在提示词层面解耦（实体词指代主体、代词指代修改对象），再用专门设计的奖励信号配合强化学习重新耦合，这套「先解耦再耦合」的流程可直接迁移到任何需要同时保真与可控的个性化生成/编辑管线中。
DialogueVPR：迈向对话式视觉地点识别
DialogueVPR: Towards Conversational Visual Place Recognition
把语言引导的地理定位从静态单样本检索改写为多轮对话式推理，其 DQ-pilot 提问器与 PRG 奖励可直接迁移到任何需要主动消解文本歧义的跨模态检索/定位任务（如文本检索行人、指令式导航）。
Dejavu：面向具身智能的经验反馈学习
Dejavu: Towards Experience Feedback Learning for Embodied Intelligence
对做 VLA/具身策略的视觉研究者，这篇给出一种不改动冻结策略权重的部署后增强范式：用检索到的历史动作经验作为条件输入，并通过强化学习加语义相似度奖励训练一个轻量 EFN，可直接套用到现有 VLA 上提升成功率与鲁棒性。
DEVA：面向视觉感知任务的多模态大语言模型微调
DEVA: Fine-tuning Multimodal Large Language Models for Visual Perception Tasks
对做视觉感知任务的 MLLM 微调者，这篇给出了 GRPO 训练动力学的失效分析（多样性下降、探索受限、奖励聚合次优），并给出可插拔的改进：基于流的训练目标提升多样性、全局熵正则扩大探索、以对齐度作为非可验证奖励配合调和聚合，可直接套用到检测/定位等视觉感知的 RL 微调流程中。
课程组策略优化：自适应采样释放文生图生成潜力
Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation
把 GRPO 训练中的提示词采样从均匀改为按组奖励方差自适应加权，可直接迁移到扩散/流匹配模型的强化学习后训练，用来提升提示词对齐与训练效率；类别校准的比例公平思路也可用于多类别文生图数据配比。
CogniEdit：面向细粒度图像编辑的稠密梯度流优化
CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing
把 GRPO 的稀疏步级奖励改为跨连续去噪步传播梯度的稠密奖励，为扩散编辑提供轨迹级监督；该思路可直接迁移到任何需要细粒度指令遵循的扩散采样优化中。
CodeV：以图像代码实现忠实视觉推理的工具感知策略优化
CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization
对做多模态视觉推理智能体的人，这篇提供了可复用的过程级奖励设计思路：把奖励直接定义在图像裁剪等工具输入/输出上而非思维链 token 上，并用可执行 Python 代码表示视觉工具，从而抑制奖励作弊、提升工具使用的证据一致性；其忠实性评测协议也可直接用于诊断自家 VLM 的"猜对答案但推理不忠实"问题。
Chart-FR1：面向稠密图表的视觉聚焦驱动细粒度推理
Chart-FR1: Visual Focus-Driven Fine-Grained Reasoning on Dense Charts
Focus-CoT 把推理步骤显式锚定到局部图像区域与 OCR 信号上，配合带信息效率奖励的 Focus-GRPO 压缩冗余视觉 token，这套「视觉聚焦+自适应推理深度」的机制可直接迁移到文档、图表、密集标注场景的多模态推理，也为视觉 token 冗余问题提供了 RL 层面的解法。
CMR-RD：面向可解释心脏磁共振诊断的长尾自适应视觉语言模型
CMR-RD: Long-Tailed Adaptive VLM for Explainable CMR Diagnosis
把在线多阶段强化学习与自适应采样（GPPO）用于视觉语言模型的后训练，让模型主动探索稀有类别，这套长尾偏置缓解思路可直接迁移到其他医学或长尾视觉-语言诊断任务。
CME-CAD：面向 CAD 代码生成的异构协同多专家强化学习
CME-CAD: Heterogeneous Collaborative Multi-Expert Reinforcement Learning for CAD Code Generation
把 CAD 建模转成可执行的 CADQuery 代码生成，并用多专家协同的强化学习范式提升精度与可编辑性；对视觉研究者而言，它提供了从正交投影图到参数化三维模型的代码化重建路线，以及带精确尺寸标注与思维链的 17,299 条基准，可用于评测图像到可编辑三维结构的生成。
CARE 何为失败：面向可验证多模态推理的对比锚定反思
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal Reasoning
对做多模态推理后训练的人，CARE 给出了一套把「全错批次」和「接近正确」的 rollout 转成对比监督的具体配方：锚定对比目标 + 组内 z-score 归一化 + 全负样本救援，可直接替换 GRPO 的损失项；RGR 的单样本结构化自修复则提供了一种无需测试时反思就能把近失样本转成正样本的重采样策略。
超越感知捷径：面向轻量级多模态大模型可泛化视频推理的因果启发去偏优化
Beyond Perceptual Shortcuts: Causal-Inspired Debiasing Optimization for Generalizable Video Reasoning in Lightweight MLLMs
对做轻量级视频 MLLM 的研究者，这篇给出了一个可复用的去偏训练范式：先训练一个专门拟合数据偏置的「偏置模型」，再用带排斥项的 CDPO 目标把主模型推离捷径逻辑，可在不做 SFT、仅用 1% 数据做 RL 的条件下提升视频推理泛化性。
像苏格拉底一样提问：Socrates 帮助视觉语言模型理解遥感图像
Asking like Socrates: Socrates helps VLMs understand remote sensing images
提出「证据链式思维」RS-EoT 范式与 SocraticAgent 自博弈多智能体合成推理轨迹，并用两阶段渐进式强化学习（先细粒度视觉定位、后 VQA）训练 VLM；对做视觉推理、视觉定位与遥感 VQA 的研究者，这是一套可复用的「推理—回看图像」迭代训练流程，可直接迁移到高分辨率或大场景图像理解任务。
我们准备好将强化学习用于文本到3D生成了吗？一项渐进式探究
Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation
把 GRPO 这类 RL 后训练从 2D 图像生成迁移到文本到 3D 自回归生成，并给出奖励设计（多模态模型作奖励、人类偏好对齐）与 token 级优化的可复用经验；Hi-GRPO 的全局到局部层级奖励集成思路可直接用于任何分阶段生成的 3D/视频模型。
AnyID：从任意视觉参考生成超高保真通用身份保持视频
AnyID: Ultra-Fidelity Universal Identity-Preserving Video Generation from Any Visual References
提出统一异构身份输入（人脸、肖像、视频）的全参考架构与主参考生成范式，结合差分提示词实现属性级可控性，并用人类偏好数据做强化学习微调，为身份保持视频生成提供了可复用的多参考融合与可控生成思路。
殊途同归：激励视觉语言模型中的发散性思维
All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models
对做 VLM 推理增强的人，这篇给出了 GRPO 多样性坍塌的诊断（模型过早收敛到少数推理策略），并提出 MUPO 用多组策略优化维持解空间多样性，可直接替换 GRPO 的训练目标用于多模态推理微调。
AVATAR：通过强化学习在视频上看见、听见与推理
AVATAR: Reinforcement Learning to See, Hear, and Reason Over Video
对做视频多模态推理的人，这篇给出了一个可直接复用的强化学习后训练配方：用离策略样本回放缓解 GRPO 的组内奖励同质化（优势消失），并用时序优势塑形把信用集中到规划与综合两端阶段，可迁移到任意视频/音视频 VLM 的 RL 微调流程。
AV-Reasoner：面向多模态大模型的线索锚定音视频计数能力改进与基准构建
AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs
对做视频多模态推理的人，这篇提供了两点可复用：一是用 GRPO + 课程学习把相关任务（如时序定位、事件定位）的能力迁移到计数这类稀疏监督任务上；二是 CG-AV-Counting 的黑盒/白盒双协议评测，可作为检验模型推理链是否真正依赖视觉线索的测试床。
APPO：面向视频推理的注意力引导感知策略优化
APPO: Attention-guided Perception Policy Optimization for Video Reasoning
把强化学习中的组内相对优势换成基于注意力、跨响应聚焦同一关键帧的 token 级稠密奖励，可在无细粒度标注下提升视频多模态模型的感知能力，这套奖励设计可直接迁移到其他视频 VLM 的 RL 后训练流程。