Tag · 33 篇
奖励模型
WPT：通过在线世界模型蒸馏实现从世界模型到策略的迁移
WPT: World-to-Policy Transfer via Online World Model Distillation
对做视觉驱动决策的研究者，可复用其「世界模型在线蒸馏到轻量学生策略」的范式：用世界模型预测的未来动力学构造奖励信号训练教师策略，再蒸馏为学生策略，从而在保持实时推理的同时获得世界模型的规划收益。
基于解耦奖励建模的统一定制化生成
Unified Customized Generation by Disentangled Reward Modeling
把主体定制与风格定制统一到一个框架，并用辅助风格奖励对齐风格与内容特征，为个性化生成中「参考图多属性解耦」提供了可复用的奖励建模思路，可直接迁移到其他条件生成任务的多条件控制。
UniGen-1.5：通过强化学习中的奖励统一增强图像生成与编辑
UniGen-1.5: Enhancing Image Generation and Editing through Reward Unification in RL
用共享奖励模型把图像生成与编辑的 RL 训练统一起来，并先做轻量编辑指令对齐再上 RL，这套「先对齐指令、再统一奖励」的流程可直接迁移到其他统一生成/编辑模型的训练中。
图像即奖励：面向图像生成的对抗奖励强化学习
The Image as Its Own Reward: Reinforcement Learning with Adversarial Reward for Image Generation
用参考图像和视觉基础模型（如 DINO）提供密集视觉奖励，替代标量偏好奖励，可缓解奖励攻击并提升生成质量；该对抗奖励框架可复用于扩散模型或流匹配模型的强化学习微调。
TextPecker：以奖励方式量化结构异常以增强视觉文本渲染
TextPecker: Rewarding Structural Anomaly Quantification for Enhancing Visual Text Rendering
把「结构异常感知」做成可微/可打分的奖励信号，用于对任意文生图模型做 RL 微调；对做可控生成、奖励建模或 OCR 辅助生成的研究者，这套字符级异常标注数据集 + 笔画编辑合成引擎可直接复用来构造更干净的奖励。
通过方向解耦对齐驯服扩散强化学习中的偏好模式坍缩
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
针对文生图扩散模型做 RLHF 时出现的偏好模式坍缩（奖励黑客）问题，提出在奖励模型嵌入空间中学习一个方向性修正并作用于奖励信号，可直接用于任何基于奖励优化的扩散微调流程以保住生成多样性；配套的 DivGenBench 也提供了衡量多样性坍缩的评测手段。
StyleDoctor：面向以风格为中心的生成任务的专家奖励模型
StyleDoctor: Towards Specialist Reward Model for Style-centric Generation Tasks
为风格化扩散生成提供可复用的风格感知奖励模型，可直接接入 RLHF/奖励微调流程，替代通用人类偏好奖励模型来提升风格一致性与文图对齐。
Style-GRPO：由奖励建模引导的语义感知图像风格迁移偏好优化
Style-GRPO: Semantic-Aware Preference Optimization for Image Style Transfer Guided by Reward Modeling
提供了一套可复用的「奖励模型 + 在线 RL」范式：先构建 8 万级空间关系偏好对训练 SpatialScore 奖励模型，再用其驱动 GRPO 式在线强化学习提升扩散模型的空间关系生成能力，可直接迁移到其他需要精确空间布局的可控生成任务。
SpatialReward：面向文本到图像生成中细粒度空间一致性的可验证空间奖励建模
SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation
提供了一套可验证的空间奖励建模流程：用提示词分解器抽取实体与空间元数据，用专家检测器做视觉定位，再用视觉语言模型做思维链推理判断空间关系，可直接作为强化学习微调 T2I 模型（SD、FLUX）的奖励信号，也可复用其 SpatRelBench 评测生成图像的空间一致性。
SoliReward：缓解视频生成奖励模型对奖励攻击与标注噪声的敏感性
SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models
为视频生成模型的偏好对齐提供了一套可复用的奖励模型训练范式：用单条二值标注加跨提示配对构造偏好数据，用分层渐进查询注意力聚合特征，并改造 BT 损失以容纳平局样本、正则化正样本分数分布，从而缓解奖励攻击；做视频生成后训练或构建 VLM 奖励模型时可直接借鉴这套数据与损失设计。
看见即改进：用于迭代文本布局精修的视觉反馈
Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement
把渲染后的图像作为反馈信号，通过带 OCR 准确率奖励的强化学习驱动 MLLM 迭代自我修正，这一「渲染-评估-重生成」闭环可直接迁移到任何需要视觉结果校验的生成式设计任务（如海报排版、UI 生成、图文合成）。
RetouchIQ：基于通用奖励的MLLM智能体用于指令式图像修饰
RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward
提出用强化学习微调的多模态大语言模型作为通用奖励模型，为基于指令的图像编辑提供可验证的奖励信号，可复用于其他需要主观评价的生成任务（如风格化、美学优化）。
PromptEnhancer：通过细粒度奖励优化重写器以提升文本到图像生成
PromptEnhancer: Taming Your Rewriter for Text-to-Image Generation via Fine-Grained Reward
提出可插拔的提示词重写框架，通过监督微调与基于细粒度奖励模型的强化学习优化重写器，可提升任意预训练T2I模型对复杂提示词的遵循能力，为改善文生图对齐提供通用后处理方案。
PosterReward：为高质量平面设计生成解锁准确评估
PosterReward: Unlocking Accurate Evaluation for High-Quality Graphic Design Generation
为文生图模型提供针对海报设计的细粒度奖励信号，可用于生成后筛选或作为强化学习/偏好优化（如 RLHF、DPO）的奖励函数，弥补现有美学奖励模型忽略排版与文字准确性的缺陷。
PaCo-RL：以成对奖励建模推进一致性图像生成的强化学习
PaCo-RL: Advancing Reinforcement Learning for Consistent Image Generation with Pairwise Reward Modeling
把成对一致性奖励模型与 GRPO 结合，用无标注数据对生成模型做 RL 微调，并给出分辨率解耦的优化策略来降低 RL 训练成本；做多图一致性生成或想把主观视觉偏好转成奖励信号的工作可直接复用这套奖励建模与多奖励聚合思路。
PSR：利用成对主体一致性奖励扩展多主体个性化图像生成
PSR: Scaling Multi-Subject Personalized Image Generation with Pairwise Subject-Consistency Rewards
提出可扩展的多主体数据生成管线与成对主体一致性奖励，结合强化学习后训练，可直接用于提升现有个性化生成模型在多主体场景下的主体保真度与文本可控性。
多模态奖励基准 2：评估面向交错图文的全能奖励模型
Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image
为视觉生成模型（文生图、图像编辑、交错生成）提供了首个统一的奖励模型评测基准，可直接用于评估和选择生成模型的偏好对齐信号，并揭示当前多模态奖励模型与人类判断的差距。
MapReduce LoRA：推进生成模型多偏好优化的帕累托前沿
MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models
MapReduce LoRA 用并行训练偏好专属 LoRA 专家再迭代合并进共享基座，RaTE 用奖励专属词元嵌入在推理时组合，为文生图/文生视频模型提供可复用的多奖励对齐与推理时偏好切换手段。
在图像编辑中利用基于验证器的强化学习
Leveraging Verifier-Based Reinforcement Learning in Image Editing
提出基于思维链的推理奖励模型（RRM）作为图像编辑的通用奖励，并用GRPO微调编辑模型，为视觉生成中的RLHF提供可解释、细粒度的奖励设计思路。
学习信任什么：面向视觉生成的贝叶斯先验引导优化
Learning What to Trust: Bayesian Prior-Guided Optimization for Visual Generation
把奖励模型的不确定性显式建模为语义先验锚点，并在组间与组内两个层级调制优化信任度，可直接迁移到任何用 GRPO/RLHF 后训练的扩散或视频生成模型上，缓解文本-视觉多对多对应带来的奖励噪声过拟合。
GT-SVJ：基于生成Transformer的自监督视频裁判用于高效视频奖励建模
GT-SVJ: Generative-Transformer-Based Self-Supervised Video Judge For Efficient Video Reward Modeling
将视频生成模型（如扩散模型）通过能量模型重参数化，并利用潜在空间扰动构造负样本进行对比训练，从而作为时序感知的奖励模型，为视频生成质量评估和偏好对齐提供了新思路。
FinPercep-RM：面向基于强化学习的真实世界超分辨率的细粒度奖励模型与协同进化课程
FinPercep-RM: A Fine-grained Reward Model and Co-evolutionary Curriculum for RL-based Real-world Super-Resolution
提出细粒度感知奖励模型（全局分数+感知退化图）和协同进化课程学习策略，可复用于基于强化学习的图像复原任务中，缓解奖励黑客问题并提升局部真实感。
通过奖励建模增强图像生成中的空间理解
Enhancing Spatial Understanding in Image Generation via Reward Modeling
用奖励模型为文生图的空间关系正确性提供可微/可打分信号，可直接接入在线 RL（如 GRPO/PPO 类）微调扩散或自回归生成器，解决复杂空间提示词需多次采样的问题；SpatialScore 也可作为空间一致性的自动评测器复用。
解耦再耦合：解决主体驱动文生图生成中的相似性-可控性悖论
Disentangling to Re-couple: Resolving the Similarity-Controllability Paradox in Subject-Driven Text-to-Image Generation
把主体身份与修改指令在提示词层面解耦（实体词指代主体、代词指代修改对象），再用专门设计的奖励信号配合强化学习重新耦合，这套「先解耦再耦合」的流程可直接迁移到任何需要同时保真与可控的个性化生成/编辑管线中。
DRM：基于扩散模型并带逐步引导的奖励模型
DRM: Diffusion-based Reward Model With Step-wise Guidance
把预训练扩散模型本身当作奖励骨干，利用其对含噪中间潜变量的逐步评估能力，为扩散模型对齐提供密集的每步奖励与推理时的路径引导，可直接迁移到任意扩散/流匹配模型的偏好优化与采样搜索。
课程组策略优化：自适应采样释放文生图生成潜力
Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation
把 GRPO 训练中的提示词采样从均匀改为按组奖励方差自适应加权，可直接迁移到扩散/流匹配模型的强化学习后训练，用来提升提示词对齐与训练效率；类别校准的比例公平思路也可用于多类别文生图数据配比。
CREward：一种按类型划分的创意奖励模型
CREward: A Type-Specific Creativity Reward Model
提供了一种按类型（几何/材质/纹理）分解的创意奖励模型，可直接作为扩散或生成模型的偏好奖励信号，并通过 LoRA 微调引导生成更具创意的图像；其用 LVLM 标注替代人工标注构建奖励模型的流程也可迁移到其他主观属性（如美学、风格）的奖励建模。
CRAFT：对齐扩散模型，微调比你想象的更容易
CRAFT: Aligning Diffusion Models with Fine-Tuning Is Easier Than You Think
用复合奖励过滤构造小而一致的偏好数据集，再做增强版 SFT，就能以 100 个样本超越数千对偏好数据的 DPO 类方法；做扩散模型人类偏好对齐时，可把数据筛选环节当作主要杠杆，而不是堆偏好对数量。
将人工评测引入红外与可见光图像融合
Bridging Human Evaluation to Infrared and Visible Image Fusion
将人类主观偏好通过强化学习（GRPO）引入红外与可见光图像融合，提供了一套可复用的「人类反馈数据集构建+奖励模型训练+策略优化」范式，可迁移到其他低层视觉任务（如超分、去噪）以对齐人类感知。
分数末端的偏差
Bias at the End of the Score
对做 T2I 生成与奖励引导优化（如 RLHF/DRaFT 类微调、数据集筛选）的研究者，这篇审计提示：奖励模型本身携带人口统计偏差，用它做监督信号会系统性地放大性别/种族刻板印象并压缩多样性；在搭建奖励反馈管线时，应把奖励模型的偏差审计与去偏作为必要环节，而非只关注 reward hacking 与模式坍塌。
BeautyGRPO：通过动态路径引导与细粒度偏好建模实现人脸修图的美学对齐
BeautyGRPO: Aesthetic Alignment for Face Retouching via Dynamic Path Guidance and Fine-Grained Preference Modeling
把在线 RL 的偏好对齐用于人脸修图这类高保真编辑任务时，用基于锚点的 ODE 路径在每个采样步重规划来抑制随机漂移，这个「动态路径引导」思路可直接迁移到其他需要保真度的扩散编辑/复原任务中，避免 RL 探索引入的噪声伪影。
面向多角色叙事图像生成的多方面人类偏好对齐
Aligning Multi-Character Narrative Image Generation with Multi-Aspect Human Preferences
提供了面向多角色叙事图像生成的细粒度人类偏好数据集 NI-RLHF 与可解释奖励模型 NIReward，以及按偏好维度自适应平衡的 ADPO 优化策略，可直接迁移到其他需要多维人类偏好对齐的扩散生成任务（如个性化、可控生成）的微调阶段。
ARM-Thinker：通过智能体工具使用与视觉推理强化多模态生成式奖励模型
ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning
提出了一种可自主调用外部工具（如图像裁剪、文档检索）的多模态奖励模型，通过多阶段强化学习联合优化工具调用决策与判断准确性，为视觉语言模型的奖励建模提供了可验证证据和可解释性，可复用于需要细粒度视觉验证的视觉语言任务。