Tag · 46 篇
GRPO
ZoomEarth：面向超高分辨率地理空间视觉语言任务的主动感知
ZoomEarth: Active Perception for Ultra-High-Resolution Geospatial Vision-Language Tasks
把「主动感知」引入超高分辨率视觉语言模型：模型通过自适应裁剪-缩放反复回看信息密集区域，并用区域引导奖励配合 GRPO 训练，可直接迁移到任意需要细粒度小目标的高分辨率 VLM 任务（遥感、病理、文档、卫星图）。
VisionLeaf：面向高效准确 think-with-image 的熵引导叶优先推理
VisionLeaf: Entropy-Guided Leaf-First Reasoning for Efficient and Accurate Think-with-Image
把 GRPO 的树式 rollout 从根节点扩展改为从叶节点按熵选择扩展，可直接迁移到任何多轮视觉推理 VLM 的强化学习训练中，在不改模型与数据的前提下同时降低推理轮数并提升准确率。
VisPlay：自演化视觉语言模型
VisPlay: Self-Evolving Vision-Language Models
把无标注图像变成自生成视觉问答的监督信号，用 GRPO 的多样性与难度奖励联合训练提问器和推理器，可作为 VLM 视觉推理与幻觉抑制的可复用自训练流程。
VOLD：通过在线策略蒸馏将推理能力从大语言模型迁移到视觉语言模型
VOLD: Reasoning Transfer from LLMs to Vision-Language Models via On-Policy Distillation
把纯文本 LLM 的推理能力通过 on-policy 蒸馏迁移到 VLM，视觉研究者可直接复用其「SFT 冷启动对齐 + GRPO 在线蒸馏」流程来缓解图文推理数据稀缺问题。
VES-RFT：以视觉证据敏感性为奖励缓解大型视觉语言模型中的幻觉
VES-RFT: Rewarding Visual Evidence Sensitivity to Mitigate Hallucinations in Large Vision-Language Models
把「有图/无图两次前向的熵差」定义成可计算的视觉证据敏感度奖励，配合自动核验物体正确性的可验证奖励，用无 critic 的 GRPO 做训练时对齐；做 VLM 幻觉或视觉 grounding 的工作可以直接复用这套双奖励与并行双前向的训练范式，且推理仍是单次前向、无额外开销。
正确的VAR强化学习：解决视觉自回归生成中的异步策略冲突
VAR RL Done Right: Tackling Asynchronous Policy Conflicts in Visual Autoregressive Generation
针对VAR模型在强化学习微调中因异构输入结构导致的异步策略冲突问题，提出稳定中间奖励、动态时间步重加权和掩码传播算法，为视觉自回归生成模型的RL对齐提供了可复用的技术方案。
面向视觉语言模型的统一生成与自验证：基于优势解耦的偏好优化
Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization
把生成与自验证统一进单个 VLM 策略，用解耦优势与词元掩码隔离梯度，可在不额外训练验证模型的前提下实现并行测试时扩展，直接降低多模态推理的推理成本；其偏好验证奖励设计可迁移到任意需要自洽性打分的视觉语言任务。
TempR1：通过时序感知多任务强化学习提升多模态大模型的时序理解能力
TempR1: Improving Temporal Understanding of MLLMs via Temporal-Aware Multi-Task Reinforcement Learning
把 GRPO 强化学习扩展到多任务时序训练，并按区间-实例对应关系设计定位奖励，可直接用于长视频时序定位与时间敏感问答的 MLLM 后训练。
Talk2Move：基于强化学习的场景中文本指令物体级几何变换
Talk2Move: Reinforcement Learning for Text-Instructed Object-Level Geometric Transformation in Scenes
将强化学习（GRPO）与扩散模型结合，通过设计物体级空间奖励（位移、旋转、缩放）实现文本指令驱动的物体几何变换，为可控图像编辑提供了一种无需配对监督的优化范式。
TableMix：从数据中心视角增强多模态大语言模型的表格推理能力
TableMix: Enhancing Multimodal Table Reasoning in MLLMs from a Data-Centric Perspective
对做多模态表格理解或文档 VLM 的研究者，这篇给出了一个可复用的数据配方：把多模态表格数据、纯文本数学推理数据和简单多模态感知数据按比例混合，再用难度感知的 GRPO 奖励塑形，缓解预训练造成的推理能力退化；这套数据混合与奖励设计思路可以直接迁移到图表问答、文档理解等视觉推理任务的后训练中。
合成课程强化组合式文本到图像生成
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
用场景图定义组合难度并配合 MCMC 图采样构造由易到难的训练课程，再接入 GRPO 做强化学习微调，这套「难度感知课程 + 策略优化」流程可直接迁移到扩散或自回归 T2I 模型的组合能力提升上。
SocialNav：训练受人类启发的社会感知具身导航基础模型
SocialNav: Training Human-Inspired Foundation Model for Socially-Aware Embodied Navigation
提出基于流匹配的强化学习框架 SAFE-GRPO，将社会合规性作为奖励信号融入导航策略优化，为视觉导航中的社会规范学习提供了可复用的训练范式。
看见关键之处：面向视觉生成的视觉偏好策略优化
Seeing What Matters: Visual Preference Policy Optimization for Visual Generation
把 GRPO 的单一标量奖励升级为基于预训练视觉骨干构建的像素级/时序级优势图，可直接复用到任何扩散或视频生成模型的 RL 后训练中，用于抑制局部伪影、强化细粒度感知区域。
Saliency-R1：通过显著性图对齐奖励强化可解释且忠实的视觉语言推理
Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward
提出一种无需额外计算开销的显著性图方法，可追踪视觉信息在推理链中的流动，并用显著性图与人工标注框的重叠度作为 GRPO 奖励，为 VLM 的视觉 grounding 与忠实性训练提供了可复用的奖励设计与归因工具。
强化结构化思维链以提升视频理解
Reinforcing Structured Chain-of-Thought for Video Understanding
提出无需 SFT 的单阶段强化学习框架 SDRL，用「总结-思考-回答」结构化思维链和两个自监督机制（CVK 约束视觉事实一致性、DVR 按组准确率调节推理多样性）来抑制视频推理中的思维漂移；做视频 MLLM 推理增强的工作可直接复用该 GRPO 目标改造思路。
ReasonX：多模态大语言模型引导的本征图像分解
ReasonX: MLLM-Guided Intrinsic Image Decomposition
把多模态大语言模型当作感知评判器，用其输出的相对本征比较构造 GRPO 奖励，从而在无标注真实图像上微调本征分解模型；这一「MLLM 比较式监督」范式可迁移到深度、法线、反照率等任何可定义成对关系的稠密预测任务上。
ReAlign：通过推理对齐表征实现可泛化的图像伪造检测
ReAlign: Generalizable Image Forgery Detection via Reasoning-Aligned Representation
把LLM生成的推理文本当作可蒸馏的语义监督信号，通过图文对比对齐将其迁移到轻量检测器中，为视觉取证任务提供了一条「用推理表征提升泛化性」的可复用路径，可直接用于AIGI检测与跨生成器泛化评测。
REVISOR：超越文本反思，面向长视频理解的多模态内省推理
REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding
把纯文本的自我反思扩展为跨文本与视觉片段的反思过程，并用 Dual Attribution Decoupled Reward 在 GRPO 中约束推理与所选视频证据的因果对齐；做长视频 VQA 或多模态推理的工作可以直接借用这套「视觉片段回溯 + 解耦奖励」的强化学习框架，无需额外监督微调或外部模型。
感知证据锚定的强化学习用于多模态推理
Perceptual-Evidence Anchored Reinforced Learning for Multimodal Reasoning
将视觉感知验证作为强化学习奖励的锚点，通过感知检查表生成辅助奖励来约束推理过程，可复用于任何需要提升视觉证据忠实度的VLM推理任务。
PaCo-RL：以成对奖励建模推进一致性图像生成的强化学习
PaCo-RL: Advancing Reinforcement Learning for Consistent Image Generation with Pairwise Reward Modeling
把成对一致性奖励模型与 GRPO 结合，用无标注数据对生成模型做 RL 微调，并给出分辨率解耦的优化策略来降低 RL 训练成本；做多图一致性生成或想把主观视觉偏好转成奖励信号的工作可直接复用这套奖励建模与多奖励聚合思路。
OraPO：面向数据高效与事实准确的放射学报告生成的 Oracle 教育强化学习
OraPO: Oracle-educated Reinforcement Learning for Data-efficient and Factual Radiology Report Generation
把 GRPO 探索失败的样本通过轻量 oracle 步骤转成直接偏好监督，配合基于原子临床事实蕴含检查的句级稠密奖励，为视觉语言模型在低数据预算下做单阶段 RL 训练提供了可复用范式。
为人形机器人像素到动作策略迁移打开仿真到现实之门
Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer
论文展示了仅凭 RGB 感知、完全在仿真中训练的人形机器人全身 loco-manipulation 策略如何零样本迁移到真实铰接物体（如多种门）上；其中分阶段重置探索与基于 GRPO 的微调可用于缓解视觉部分可观测性、提升闭环一致性，对做视觉-动作策略 sim-to-real 的研究者是可复用的训练配方。
OctoNav：迈向通用具身导航
OctoNav: Towards Generalist Embodied Navigation
把 MLLM 改造成仅凭 2D 视觉观测输出低层动作的 VLA 模型，并用 TBA-CoT 数据加 GRPO 做「先思考后行动」的强化学习训练，为视觉研究者提供了将推理链注入具身导航策略的可复用范式。
NoRD：一种无需推理的数据高效视觉-语言-动作模型
NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning
对做自动驾驶VLA的研究者，这篇论文表明无需推理标注、仅用不到60%数据，通过Dr.GRPO强化学习微调SFT策略即可达到竞争性性能，且推理词元减少3倍，为数据高效、低延迟的端到端驾驶模型提供了可复用的训练范式。
Neighbor GRPO：对比式常微分方程策略优化对齐流模型
Neighbor GRPO: Contrastive ODE Policy Optimization Aligns Flow Models
对做扩散/流匹配模型偏好对齐的人，这篇给出了绕开 SDE 的 GRPO 方案：直接扰动 ODE 初始噪声构造候选轨迹，用基于距离的 softmax 代理目标做策略梯度，从而保留确定性采样与高阶求解器的少步采样优势，可直接替换现有 SDE-GRPO 训练流程。
MoE-GRPO：在视觉语言模型中通过强化学习优化混合专家
MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models
把 MoE 视觉语言模型的专家路由从确定性 top-K 改成用 GRPO 学习的随机策略，并加入模态感知的路由引导；做多模态大模型推理或训练的人可以直接复用这套路由优化思路来缓解专家过拟合、提升专家利用率。
MedLoc-R1：面向基于 GRPO 的医学视觉定位的性能感知课程奖励调度
MedLoc-R1: Performance-Aware Curriculum Reward Scheduling for GRPO-Based Medical Visual Grounding
把 GRPO 的固定 IoU 奖励换成随模型能力逐步收紧的课程式奖励调度，可直接迁移到任何用 RL 做框级/区域级定位的视觉语言模型训练中，缓解小目标奖励稀疏导致的策略梯度消失。
MM-ReCoder：以强化学习与自纠正推进图表到代码生成
MM-ReCoder: Advancing Chart-to-Code Generation with Reinforcement Learning and Self-Correction
把可执行环境的反馈作为奖励信号，用两阶段多轮 GRPO 训练 MLLM 自我纠错，这一范式可直接迁移到视觉到代码类任务（如 UI 到代码、图表理解、视觉程序合成），也为视觉语言模型引入执行级验证提供了可复用训练流程。
在图像编辑中利用基于验证器的强化学习
Leveraging Verifier-Based Reinforcement Learning in Image Editing
提出基于思维链的推理奖励模型（RRM）作为图像编辑的通用奖励，并用GRPO微调编辑模型，为视觉生成中的RLHF提供可解释、细粒度的奖励设计思路。
学习拒答：面向视频时序定位中难负相关查询的拒答感知强化微调
Learning to Refuse: Refusal-Aware Reinforcement Fine-Tuning for Hard-Irrelevant Queries in Video Temporal Grounding
把 GRPO 强化微调引入 VTG，用格式、拒答-IoU、解释、查询纠正四类奖励让 LVLM 学会对语义相近但实际无关的难负查询输出拒答，可直接迁移到任何需要「无目标即拒答」的定位/检索式视觉任务。
JoPPO：基于对比联合条件概率强化学习的分层摄影评估
JoPPO: Hierarchical Photography Assessment via Contrastive Joint Conditional Probabilistic Reinforcement Learning
把 VLM 当作评分器时，用基于批内细粒度属性分数条件分布的期望胜率作为奖励，替代 GRPO 的标量奖励，可直接迁移到任何需要多属性组合排序的视觉评测任务（美学、生成质量、偏好对齐）。
分层过程奖励模型是符号视觉学习器
Hierarchical Process Reward Models are Symbolic Vision Learners
用符号自编码器把图表解析成点/线/形状等结构化基元，并以分层过程奖励约束几何一致性，可替代 MLLM 的视觉编码器或直接为 LLM 提供可解释的符号解析输入，为几何/图表类视觉推理提供了一条非像素化的表征路径。
从失败到反馈：组修正解锁目标级视觉定位中的困难案例
From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding
提出组修正优化范式，通过生成修正候选并量化改进来构造塑形信号，缓解GRPO在困难样本上奖励稀疏的问题，可复用于视觉语言模型的强化学习微调。
扩展与剪枝：最大化轨迹多样性以实现生成模型中有效的 GRPO
Expand and Prune: Maximizing Trajectory Diversity for Effective GRPO in Generative Models
Pro-GRPO 将基于潜变量的轨迹剪枝嵌入采样过程，通过提前终止奖励聚集的轨迹来降低计算开销，使大 group size 的 GRPO 训练在扩散/流模型中变得可行；其 Expand-and-Prune 策略可直接用于视觉生成模型的强化学习对齐。
EduDiag：面向大型多模态模型错误追踪与纠正的教育诊断推理基准
EduDiag: A Benchmark for Educational Diagnostic Reasoning with Error Tracing and Correction on Large Multimodal Models
该论文提出的教育诊断推理任务要求LMM从错误答案逆向重建错误推理链并生成纠正反馈，为多模态推理评估提供了新方向；其构建的8K错误推理链数据集和GRPO优化策略可复用于提升视觉语言模型的推理与纠错能力。
EVA：面向端到端视频智能体的高效强化学习框架
EVA: Efficient Reinforcement Learning for End-to-End Video Agent
把视频理解从「被动识别整段视频」改成「先规划再看」的智能体范式：用 SFT+KTO+GRPO 三阶段训练让 MLLM 自主决定看哪些帧、何时看，可直接复用到长视频问答与高效视频推理中。
Dr. Seg：通过面向感知的设计重新审视视觉大语言模型的 GRPO 训练
Dr. Seg: Revisiting GRPO Training for Visual Large Language Models through Perception-Oriented Design
针对视觉感知任务（如推理分割）重新设计 GRPO 训练框架，提出 Look-to-Confirm 机制和 Distribution-Ranked Reward 模块，无需修改模型架构即可提升 VLLM 在复杂视觉场景下的感知性能，为将强化学习应用于视觉任务提供了可复用的训练策略。
DiverseGRPO：通过多样性感知GRPO缓解图像生成中的模式坍缩
DiverseGRPO: Mitigating Mode Collapse in Image Generation via Diversity-Aware GRPO
针对GRPO微调扩散模型时出现的模式坍缩问题，提出基于语义聚类的分布级奖励和结构感知正则化，可直接用于提升文生图模型的输出多样性，同时保持生成质量。
DRM：基于扩散模型并带逐步引导的奖励模型
DRM: Diffusion-based Reward Model With Step-wise Guidance
把预训练扩散模型本身当作奖励骨干，利用其对含噪中间潜变量的逐步评估能力，为扩散模型对齐提供密集的每步奖励与推理时的路径引导，可直接迁移到任意扩散/流匹配模型的偏好优化与采样搜索。
DEVA：面向视觉感知任务的多模态大语言模型微调
DEVA: Fine-tuning Multimodal Large Language Models for Visual Perception Tasks
对做视觉感知任务的 MLLM 微调者，这篇给出了 GRPO 训练动力学的失效分析（多样性下降、探索受限、奖励聚合次优），并给出可插拔的改进：基于流的训练目标提升多样性、全局熵正则扩大探索、以对齐度作为非可验证奖励配合调和聚合，可直接套用到检测/定位等视觉感知的 RL 微调流程中。
COPO：面向多模态大语言模型幻觉的因果导向策略优化
COPO: Causal-Oriented Policy Optimization for Hallucinations of MLLMs
COPO 通过因果完备性奖励和 token 级充分性/必要性约束，在 GRPO 框架内构造因果感知的优势函数，为视觉语言模型提供了一种可复用的幻觉缓解训练策略，可直接用于改进多模态对齐与生成忠实度。
超越多项选择：面向鲁棒视觉语言强化微调的可验证开放问答
Beyond Multiple Choice: Verifiable OpenQA for Robust Vision-Language RFT
为视觉语言模型提供可验证的开放问答数据构造与自动验证流程，可直接用于强化微调（RFT）和更可靠的基准评测，避免多项选择选项泄露带来的奖励信号偏差。
我们准备好将强化学习用于文本到3D生成了吗？一项渐进式探究
Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation
把 GRPO 这类 RL 后训练从 2D 图像生成迁移到文本到 3D 自回归生成，并给出奖励设计（多模态模型作奖励、人类偏好对齐）与 token 级优化的可复用经验；Hi-GRPO 的全局到局部层级奖励集成思路可直接用于任何分阶段生成的 3D/视频模型。
Ar2Can：以建筑师与画家借画布实现多人图像生成
Ar2Can: An Architect and an Artist Leveraging a Canvas for Multi-Human Generation
把多人生成拆成「布局规划 + 身份渲染」两阶段，并用匈牙利匹配的空间对齐人脸匹配奖励配合 GRPO 优化，可直接迁移到任何需要多主体身份保持的扩散生成/编辑流程中。
殊途同归：激励视觉语言模型中的发散性思维
All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models
对做 VLM 推理增强的人，这篇给出了 GRPO 多样性坍塌的诊断（模型过早收敛到少数推理策略），并提出 MUPO 用多组策略优化维持解空间多样性，可直接替换 GRPO 的训练目标用于多模态推理微调。
对抗风格优化：通过基于GRPO的风格触发器优化增强VLM越狱
Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization
提出了一种基于GRPO优化图像编辑模型来叠加风格触发器的即插即用模块，可增强现有视觉越狱攻击的成功率，为多模态大模型的安全评估和红队测试提供了可复用的风格扰动优化框架。