Tag · 16 篇
强化学习后训练
统一多模态模型作为自编码器
Unified Multimodal Models as Auto-Encoders
将图像到文本理解与文本到图像生成统一为自编码器框架，并用重建奖励的强化学习联合优化编码器与解码器，为视觉语言模型提供了一种通过重建目标提升细粒度感知与生成保真度的后训练思路。
理解幻觉在多模态推理模型强化学习后训练中的作用
Understanding the Role of Hallucination in Reinforcement Post-Training of Multimodal Reasoning Models
提出一种通过模态特定扰动（移除或替换关键视觉信息）来诱导幻觉的分析框架，可用于诊断多模态大模型在强化学习后训练中是否真正依赖视觉信息，为设计模态感知的RL训练策略提供可复用工具。
看见关键之处：面向视觉生成的视觉偏好策略优化
Seeing What Matters: Visual Preference Policy Optimization for Visual Generation
把 GRPO 的单一标量奖励升级为基于预训练视觉骨干构建的像素级/时序级优势图，可直接复用到任何扩散或视频生成模型的 RL 后训练中，用于抑制局部伪影、强化细粒度感知区域。
SAGE：用强化学习训练智能任意跨度智能体进行长视频推理
SAGE: Training Smart Any-Horizon Agents for Long Video Reasoning with Reinforcement Learning
把长视频推理建模为「按需决定看多少帧、看几轮」的多轮智能体决策，并用 RL 后训练教会模型自适应选择时间跨度；对做视频问答/长视频理解的人，这套 any-horizon 调度 + 合成数据管线可直接迁移到自己的视频 LLM 上以降低帧数开销。
PanoEnv：在 panor 全景环境中用强化学习探索 3D 空间智能
PanoEnv: Exploring 3D Spatial Intelligence in Panoramic Environments with Reinforcement Learning
针对 ERP 全景图的几何畸变与 3D 监督缺失，给出了一套可复用的方案：用带真值引导奖励的 GRPO 后训练，配合两阶段课程（先结构化任务、后开放式数据），把 3D 空间推理能力注入 VLM；做全景/全向感知或想给 VLM 补几何推理的可以直接借鉴这套奖励设计与课程安排。
MoCha：无需结构引导的端到端视频角色替换
MoCha: End-to-End Video Character Replacement without Structural Guidance
把视频扩散模型自身的时序跟踪能力当作隐式结构先验，从而摆脱逐帧掩码与骨架/深度等显式结构引导，只需单帧任意掩码即可完成角色替换；条件感知 RoPE 与 RL 后训练可迁移到其他多模态条件注入的身份保持生成任务。
模仿人类认知，掌握多图推理：一种增强视觉理解的元动作框架
Mimic Human Cognition, Master Multi-Image Reasoning: A Meta-Action Framework for Enhanced Visual Understanding
把多图/多帧推理拆成 Global/Focus/Hint/Think/Answer 五个元动作，并用检索式树采样构造冷启动轨迹、再用两阶段强化学习（多样性保持探索 + DAPO 退火利用）训练，可直接迁移到需要跨图跨帧聚合证据的视觉语言任务上。
掩码自回归变分加速：快速推理使强化学习变得实用
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
把 MAR 的「外层自回归解掩码 + 内层扩散去噪链」两级推理蒸馏成单步生成，并用基于分数的变分目标保住样本质量；做少步扩散/自回归生成或想把 RL 后训练接到生成模型上的人可直接复用该蒸馏目标与 MARVAL-RL 流程。
MaskFocus：将策略优化聚焦于掩码图像生成的关键步骤
MaskFocus: Focusing Policy Optimization on Critical Steps for Masked Image Generation
对做掩码生成模型（MaskGIT 类）的研究者，这篇给出了把 RL 后训练落到多步迭代采样上的可行路径：用中间图像与最终图像的相似度定位关键步、只在这些步上算似然做策略优化，并用熵驱动的动态路由采样提升掩码策略探索，可直接迁移到其他迭代式生成器的后训练。
学习信任什么：面向视觉生成的贝叶斯先验引导优化
Learning What to Trust: Bayesian Prior-Guided Optimization for Visual Generation
把奖励模型的不确定性显式建模为语义先验锚点，并在组间与组内两个层级调制优化信任度，可直接迁移到任何用 GRPO/RLHF 后训练的扩散或视频生成模型上，缓解文本-视觉多对多对应带来的奖励噪声过拟合。
通过合成视频学习可迁移的时序基元用于视频推理
Learning Transferable Temporal Primitives for Video Reasoning via Synthetic Videos
该工作表明，用程序化生成的合成视频（简单几何形状）训练 VLM 的时序基元（方向、速度、状态跟踪），能有效迁移到真实视频理解任务，为视频后训练提供了一条低成本、可扩展的数据构造路径。
通过宽基线匹配激发多模态大语言模型中的复杂空间推理
Eliciting Complex Spatial Reasoning in MLLMs through Wide-Baseline Matching
把宽基线匹配当作可验证奖励信号，用强化学习（DCRL）在无 CoT 监督下提升 MLLM 的几何与视角变化推理；其从 RGB-D 视频与 SfM 重建自动挖掘宽基线视图对的数据流水线，可直接复用于构建空间对应训练数据。
通过下一词元预测检测一切
Detect Anything via Next Point Prediction
将目标检测重新表述为多模态大语言模型的下一词元预测，用特殊词元表示量化坐标，并通过GRPO强化学习后训练弥合离散到连续的坐标预测差距，为视觉感知提供语言感知的统一框架。
解耦以泛化：面向数据稀缺视觉语言推理的上下文优先自进化学习
Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning
把 RL 后训练中的奖励信号按「理解上下文」与「解题」两个角色解耦，并配合迭代演化的种子题池做课程学习，可直接迁移到视觉推理类 VLM 的数据稀缺微调场景，缓解奖励黑客与策略熵坍塌。
AnyDoc：通过大规模 HTML/CSS 数据合成与高度感知强化优化增强文档生成
AnyDoc: Enhancing Document Generation via Large-Scale HTML/CSS Data Synthesis and Height-Aware Reinforcement Optimization
提出可扩展的 HTML/CSS 文档数据合成管线与高度感知强化学习后训练，为多模态大语言模型在结构化视觉生成任务（如文档渲染、元素到文档）上提供可复用的数据构造与奖励设计思路。
任意到任意的 3D 扩散模型与知识迁移：一项放疗计划研究
Any2Any 3D Diffusion Models with Knowledge Transfer: A Radiotherapy Planning Study
把预训练视频扩散骨干的时空先验迁移到体素级 3D 预测任务上，并用「模态+角色」感知的 Any2Any 条件接口替代交叉注意力，为视觉研究者提供了一个可复用的思路：如何在不改动骨干结构的前提下，把异构条件（图像、掩码、束流描述符）统一注入扩散模型，并用奖励后训练对齐领域偏好。