Tag · 20 篇
偏好对齐
面向扩散式人体网格恢复的 VLM 引导组偏好对齐
VLM-Guided Group Preference Alignment for Diffusion-based Human Mesh Recovery
把 VLM 驱动的自反思评审智能体产出的细粒度质量分数，转成组间偏好数据用于微调扩散式 HMR，可直接迁移到其他一对多歧义的三维/生成任务（如姿态、深度、新视角合成）做偏好对齐后训练。
VLIC：以视觉语言模型作为感知裁判实现人类对齐的图像压缩
VLIC: Vision-Language Models As Perceptual Judges for Human-Aligned Image Compression
把 VLM 的零样本二选一判断直接当作奖励信号，用偏好后训练（如 DPO/奖励加权）微调扩散式图像压缩器，替代传统在心理物理数据上标定的可微感知损失网络；这套「VLM 当裁判」的奖励设计与训练细节可迁移到超分、去噪、增强等任何需要人眼对齐的复原任务。
通过方向解耦对齐驯服扩散强化学习中的偏好模式坍缩
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
针对文生图扩散模型做 RLHF 时出现的偏好模式坍缩（奖励黑客）问题，提出在奖励模型嵌入空间中学习一个方向性修正并作用于奖励信号，可直接用于任何基于奖励优化的扩散微调流程以保住生成多样性；配套的 DivGenBench 也提供了衡量多样性坍缩的评测手段。
StyleDoctor：面向以风格为中心的生成任务的专家奖励模型
StyleDoctor: Towards Specialist Reward Model for Style-centric Generation Tasks
为风格化扩散生成提供可复用的风格感知奖励模型，可直接接入 RLHF/奖励微调流程，替代通用人类偏好奖励模型来提升风格一致性与文图对齐。
SoliReward：缓解视频生成奖励模型对奖励攻击与标注噪声的敏感性
SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models
为视频生成模型的偏好对齐提供了一套可复用的奖励模型训练范式：用单条二值标注加跨提示配对构造偏好数据，用分层渐进查询注意力聚合特征，并改造 BT 损失以容纳平局样本、正则化正样本分数分布，从而缓解奖励攻击；做视频生成后训练或构建 VLM 奖励模型时可直接借鉴这套数据与损失设计。
看见关键之处：面向视觉生成的视觉偏好策略优化
Seeing What Matters: Visual Preference Policy Optimization for Visual Generation
把 GRPO 的单一标量奖励升级为基于预训练视觉骨干构建的像素级/时序级优势图，可直接复用到任何扩散或视频生成模型的 RL 后训练中，用于抑制局部伪影、强化细粒度感知区域。
RankOOD：基于类别排序的分布外检测
RankOOD - Class Ranking-based Out-of-Distribution Detection
把基础模型偏好对齐中常用的 Plackett-Luce 排序损失迁移到 OOD 检测：先用交叉熵分类器为每个 ID 类提取一个固定的类别排序，再用 PL 损失训练模型预测该排序，从而用「是否遵循排序」作为 OOD 分数，可直接替换现有分类器的置信度打分。
Pico-Banana-400K：一个用于文本引导图像编辑的大规模数据集
Pico-Banana-400K: A Large-Scale Dataset for Text-Guided Image Editing
该数据集为文本引导图像编辑模型提供了大规模、高质量的训练与评测资源，特别是其多轮编辑、偏好对齐和指令重写子集，可直接用于研究编辑的序列规划、奖励模型训练和指令理解，推动更鲁棒的编辑系统发展。
PhyCritic：面向物理 AI 的多模态评判模型
PhyCritic: Multimodal Critic Models for Physical AI
自参照评判（critic 先自行生成预测作为内部参照再打分）这一机制可直接迁移到视觉生成/编辑结果的自动评测与偏好数据筛选，为扩散模型或 VLM 的 RLHF/RLVR 提供更稳定的奖励信号。
MultiCrafter：通过解耦注意力与身份感知偏好对齐实现高保真多主体生成
MultiCrafter: High-Fidelity Multi-Subject Generation via Disentangled Attention and Identity-Aware Preference Alignment
提出两阶段解耦训练框架：预训练阶段用显式位置监督解决注意力渗漏，后训练阶段用基于匈牙利匹配的在线强化学习做身份保持的偏好优化，可直接用于多主体个性化生成任务。
多层次因果大语言模型驱动的文本到动作生成与人类对齐
Multi-level Causal LLM-based Text-to-Motion Generation with Human Alignment
把动作序列当作离散词元、用因果 RVQ-VAE 加时间滞后因果预测来做多层级并行生成，这套「离散词元 + 因果 LLM + 偏好对齐」的组合可直接迁移到视频/动作序列的生成式建模；同时发布的 HumanML3D-R 偏好数据集为动作生成提供了可复用的对齐评测资源。
LeapAlign：通过构建两步轨迹在任意生成步对流匹配模型进行后训练
LeapAlign: Post-training Flow Matching Models at Any Generation Step by Building Two-Step Trajectories
LeapAlign 通过将长 ODE 采样轨迹压缩为两步跳跃，使奖励梯度能直接回传到早期生成步，从而以低显存代价对齐流匹配模型；该技术可复用于任何需要端到端优化生成过程（如扩散/流模型）的视觉任务，例如文本到图像生成中的偏好微调。
细粒度 GRPO：面向流模型的精确偏好对齐
Fine-Grained GRPO for Precise Preference Alignment in Flow Models
把 GRPO 式在线 RL 的信用分配细化到单步 SDE 扰动，并跨多个扩散尺度聚合优势，可直接迁移到任何 flow/diffusion 模型的偏好对齐与奖励微调流程中。
E3AD：面向以人为中心的端到端自动驾驶的情感感知视觉-语言-动作模型
E3AD: An Emotion-Aware Vision-Language-Action Model for Human-Centric End-to-End Autonomous Driving
把连续 VAD 情感状态作为条件注入 VLA 驾驶策略，并设计自我中心/异我中心双通路空间融合模块；对做端到端驾驶或指令跟随的研究者，这是一个可复用的「语言意图+情感先验→轨迹」条件化范式与一致性对齐训练流程。
DynamicsBoost：通过无标注续写偏好优化实现动态合理的视频生成
DynamicsBoost: Dynamic Plausible Video Generation via Annotation-Free Continuation Preference Optimization
用视频续写自动构造偏好对（参考帧越多、生成内容越少、保真度越高），把 DPO 从昂贵的人工/VLM 标注中解放出来；做视频生成偏好对齐或奖励建模的可以直接复用这套数据构造与 Asymmetrical DPO 损失设计。
面向视觉语言模型的动态感知偏好优化
Dynamics-Aware Preference Optimization for Vision-Language Models
对做 VLM 偏好微调的人，这篇给出了一个可直接套用的两阶段训练配方：先用低权重“温和负样本”做约束 SFT 压平损失面，再按模型平均每 token 对数概率自适应缩放负样本梯度，从而抑制简单负样本带来的无信息梯度；该权重设计可迁移到任意 DPO 类视觉语言对齐流程。
走我的路：面向个性化驾驶的视觉-语言-动作模型偏好对齐
Drive My Way: Preference Alignment of Vision-Language-Action Model for Personalized Driving
把驾驶风格编码为用户嵌入并作为规划策略的条件输入，再叠加自然语言指令做短期引导，为端到端驾驶中「个性化/风格可控」提供了一条可复用的条件化 VLA 思路；其个性化驾驶数据集与 Bench2Drive 闭环评测协议也可直接用于评估风格适配能力。
少做多得：扩散模型强化学习微调需要每一步优化吗？
Do Less, Achieve More: Do We Need Every-Step Optimization for RL Fine-tuning of Diffusion Models?
提出一种自适应确定RL微调最佳时间窗口的插件方法，可减少计算成本并提升生成质量，为扩散模型RL微调提供高效策略。
面向多角色叙事图像生成的多方面人类偏好对齐
Aligning Multi-Character Narrative Image Generation with Multi-Aspect Human Preferences
提供了面向多角色叙事图像生成的细粒度人类偏好数据集 NI-RLHF 与可解释奖励模型 NIReward，以及按偏好维度自适应平衡的 ADPO 优化策略，可直接迁移到其他需要多维人类偏好对齐的扩散生成任务（如个性化、可控生成）的微调阶段。
面向文本到图像生成的智能体修图器
Agentic Retoucher for Text-To-Image Generation
将生成后校正建模为感知-推理-动作的智能体循环，为扩散模型输出提供可定位、可控制的局部修复方案，其感知智能体的上下文显著性学习与推理智能体的渐进偏好对齐可直接迁移到其他图像编辑与质量提升任务。