Tag · 15 篇
偏好优化
面向视觉语言模型的统一生成与自验证：基于优势解耦的偏好优化
Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization
把生成与自验证统一进单个 VLM 策略，用解耦优势与词元掩码隔离梯度，可在不额外训练验证模型的前提下实现并行测试时扩展，直接降低多模态推理的推理成本；其偏好验证奖励设计可迁移到任意需要自洽性打分的视觉语言任务。
TiViBench：面向视频生成的视频内推理评测基准
TiViBench: Benchmarking Think-in-Video Reasoning for Video Generation
为图像到视频生成模型提供了一套分层推理评测协议（4 个维度、24 个任务、3 个难度），并给出无需额外训练或奖励模型的测试时偏好优化策略 VideoTPO，可直接迁移到其他生成模型的推理增强与选优环节。
图像即奖励：面向图像生成的对抗奖励强化学习
The Image as Its Own Reward: Reinforcement Learning with Adversarial Reward for Image Generation
用参考图像和视觉基础模型（如 DINO）提供密集视觉奖励，替代标量偏好奖励，可缓解奖励攻击并提升生成质量；该对抗奖励框架可复用于扩散模型或流匹配模型的强化学习微调。
Style-GRPO：由奖励建模引导的语义感知图像风格迁移偏好优化
Style-GRPO: Semantic-Aware Preference Optimization for Image Style Transfer Guided by Reward Modeling
提供了一套可复用的「奖励模型 + 在线 RL」范式：先构建 8 万级空间关系偏好对训练 SpatialScore 奖励模型，再用其驱动 GRPO 式在线强化学习提升扩散模型的空间关系生成能力，可直接迁移到其他需要精确空间布局的可控生成任务。
基于短语视觉定位的自动偏好优化用于改进胸部X光报告生成
Phrase-grounded APO for Improving Chest X-ray Report Generation
提出一种无需真值偏好对的自动偏好优化方法，通过事实核查和LLM提示纠正生成代理偏好数据，并设计结合短语视觉定位损失的APO损失函数，可提升视觉语言模型在推理时的报告事实正确性。
OSPO：面向文本到图像生成的以物体为中心的自改进偏好优化
OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation
把偏好优化从整图级细化到物体级：用注意力图导出物体掩码，构造物体级偏好对并施加物体加权 SimPO 损失，可直接迁移到任何统一多模态理解-生成模型的细粒度对齐后训练中。
面向多样化文本到3D生成的多模态语义偏差缓解
Multimodal Semantic Bias Mitigation for Diverse Text-To-3D Generation
针对文本到3D大模型对提示词格式敏感、难以理解复杂提示词的问题，提出用质量评价模型定位跨模态偏差、以质量分数量化提示词文本对偏差的贡献，并构造成对样本重建无偏的视觉-文本连接；做文本到3D或扩散先验的人可借鉴这套偏差定位与成对偏好式微调流程。
Mesh-Pro：面向艺术家风格四边形网格生成的异步优势引导排序偏好优化
Mesh-Pro: Asynchronous Advantage-guided Ranking Preference Optimization for Artist-style Quadrilateral Mesh Generation
提出异步在线强化学习框架和 ARPO 算法，可直接用于提升 3D 网格生成的后训练效率与泛化能力；对角感知的混合三角-四边形 tokenization 和基于射线的奖励为几何完整性提供了新思路。
在图像编辑中利用基于验证器的强化学习
Leveraging Verifier-Based Reinforcement Learning in Image Editing
提出基于思维链的推理奖励模型（RRM）作为图像编辑的通用奖励，并用GRPO微调编辑模型，为视觉生成中的RLHF提供可解释、细粒度的奖励设计思路。
学习信任什么：面向视觉生成的贝叶斯先验引导优化
Learning What to Trust: Bayesian Prior-Guided Optimization for Visual Generation
把奖励模型的不确定性显式建模为语义先验锚点，并在组间与组内两个层级调制优化信任度，可直接迁移到任何用 GRPO/RLHF 后训练的扩散或视频生成模型上，缓解文本-视觉多对多对应带来的奖励噪声过拟合。
Fast-ThinkAct：通过可言语化潜变量规划实现高效视觉-语言-动作推理
Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
把显式思维链压缩成可言语化的潜变量规划，并用偏好引导目标把教师的语言与视觉规划能力蒸馏进学生策略，为视觉研究者提供了一条在保持长程规划与失败恢复能力的同时大幅降低 VLA 推理延迟的可复用思路。
ExPose：强化视频生成模型以实现极端姿态估计
ExPose: Reinforcing Video Generation Models for Extreme Pose Estimation
用 GRPO 偏好优化把视频生成模型的插帧结果对齐到 3D 一致的监督信号，可作为把生成式插帧当作数据增强/视角补全手段时消除空间不一致的通用做法。
DNF-SR：面向真实世界图像超分辨率的双输入与负样本感知特征微调
DNF-SR: Dual-Input and Negative-Aware Feature Fine-Tuning for Real-World Image Super-Resolution
把预训练扩散图像编辑模型当作单步 Real-ISR 的生成先验，用「原始 LR + 加噪 LR」双输入拼接来同时保住保真度与感知质量，并用正/负样本分组的后训练偏好优化（NF²T）在图像与特征空间定义隐式策略改进方向——这套「负样本感知微调」思路可直接迁移到其他一步扩散复原/编辑任务的输出筛选与对齐上。
CRAFT：对齐扩散模型，微调比你想象的更容易
CRAFT: Aligning Diffusion Models with Fine-Tuning Is Easier Than You Think
用复合奖励过滤构造小而一致的偏好数据集，再做增强版 SFT，就能以 100 个样本超越数千对偏好数据的 DPO 类方法；做扩散模型人类偏好对齐时，可把数据筛选环节当作主要杠杆，而不是堆偏好对数量。
构建具有人机协同监督的精确视频语言
Building a Precise Video Language with Human-AI Oversight
提出以「批判式人机协同」替代全人工写描述：模型先出预描述，专家只写纠错批判，再把批判与前后描述偏好用 SFT/DPO/推理时扩展训练开源 VLM，可直接迁移到任何需要高质量细粒度视频/图像描述数据的视觉任务。