Tag · 24 篇
直接偏好优化
面向多模态大语言模型的不确定性感知探索式直接偏好优化
Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models
把词元级认知不确定性作为探索强度信号，替代模型自评的视觉敏感度来分配 DPO 训练权重，可直接迁移到任何需要细粒度视觉 grounding 监督的 MLLM 偏好对齐流程中。
迈向细粒度归因：用于对齐扩散模型的实例感知偏好优化
Towards Fine-Grained Attribution: Instance-Aware Preference Optimization for Aligning Diffusion Models
将扩散模型对齐的偏好优化从图像级推进到实例级，通过自动构建实例级偏好数据集和动态重加权掩码，为视觉生成模型提供更细粒度的反馈信号，可复用于其他需要局部控制的生成任务。
SMAP：基于地图锚定的多模态对齐的语义路线规划
SMAP: Semantic Route Planning with Map-Grounded Multimodal Alignment
把地图瓦片当作视觉输入喂给多模态大模型，并用「草稿—校验」自编辑加幻觉惩罚 DPO 抑制空间幻觉，这套「视觉证据校验 + 偏好对齐」流程可迁移到任何需要地理/空间落地的视觉-语言任务（如视觉导航、地图问答、具身路径规划）。
PhysGM：面向前馈 4D 合成的大型物理高斯模型
PhysGM: Large Physical Gaussian Model for Feed-Forward 4D Synthesis
把单图前馈预测 3D 高斯与物理参数（质量、杨氏模量等）耦合进同一网络，并用 DPO 替代 SDS 优化来对齐物理合理性，为动态 3DGS 生成提供了一条免逐场景优化、可即时仿真的路线。
MoD-DPO：利用模态解耦偏好优化缓解全模态大模型中的跨模态幻觉
MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization
给做多模态大模型（尤其是视听/视觉-语言模型）的研究者提供了一种可复用的偏好优化正则化思路：通过对无关模态加扰动、对相关模态加敏感度约束，显式解耦模态间虚假关联，可直接迁移到视觉-语言模型的视觉定位与幻觉抑制训练中。
关注生成细节：面向视频扩散模型的直接局部细节偏好优化
Mind the Generative Details: Direct Localized Detail Preference Optimization for Video Diffusion Models
提出一种基于局部时空区域构造偏好对的后训练对齐方法，仅需单次推理即可生成偏好数据，无需外部评价模型，可复用于视频扩散模型的人类偏好对齐，提升生成保真度和时序一致性。
学习潜变量代理实现可控单图重光照
Learning Latent Proxies for Controllable Single-Image Relighting
用少量 PBR 监督训练一个少样本潜变量代理编码器，把稀疏材质-几何线索注入扩散去噪器，并用光照感知掩码只引导对光照敏感的像素；这套「稀疏物理先验 + 掩码引导」的思路可直接迁移到阴影编辑、材质编辑等需要物理可控性的图像生成任务。
IntroSVG：通过内省式生成器-评论器框架从渲染反馈中学习文本到SVG生成
IntroSVG: Learning from Rendering Feedback for Text-to-SVG Generation via an Introspective Generator-Critic Framework
将渲染后的视觉反馈引入自回归生成循环，通过生成器-评论器双角色VLM和DPO对齐，为文本到矢量图形生成提供了可复用的闭环优化范式。
听见你所见：基于扩散 Transformer 与语义-时序对齐排序直接偏好优化的视频到音频生成
Hear What You See: Video-to-Audio Generation with Diffusion Transformer and Semantic-Temporal Alignment-Ranked Direct Preference Optimization
把视频帧与文本线索作为多模态条件注入 co-attention 扩散 Transformer，并用按语义-时序对齐排序构造偏好对的 DPO 微调扩散采样过程，这套「自动排序候选 + 偏好微调」的流程可直接迁移到其他以视觉为条件的生成任务（如视频生成、可控图像生成）中提升条件对齐度。
GlyphPrinter：面向字形精确视觉文本渲染的区域分组直接偏好优化
GlyphPrinter: Region-Grouped Direct Preference Optimization for Glyph-Accurate Visual Text Rendering
将 DPO 从整体偏好扩展到区域级偏好，并引入区域奖励引导的推理采样策略，为视觉文本渲染中的局部字形错误提供可复用的偏好优化框架。
GDPO-SR：面向单步生成式图像超分辨率的组直接偏好优化
GDPO-SR: Group Direct Preference Optimization for One-Step Generative Image Super-Resolution
将GRPO的组相对优势思想引入DPO，实现在线生成样本的偏好优化，并设计属性感知奖励函数动态评估局部细节，可复用于其他单步扩散复原任务（如去噪、去模糊）的微调。
以你的方式融合：通过直接偏好优化使图像融合对齐异构需求
Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization
把 DPO 引入潜扩散模型的采样过程，用偏好信号直接控制生成结果的属性，为视觉中「同一输入需输出多种风格/质量取向结果」的可控生成提供了一套可复用的偏好对齐训练范式。
FINER：多模态大语言模型在细粒度负查询下产生幻觉
FINER: MLLMs Hallucinate under Fine-grained Negative Queries
FINER 提供了针对细粒度负查询（多物体、多属性、多关系）的幻觉基准与 DPO 微调数据构造方式，可直接用于诊断和缓解自研 MLLM 在细粒度视觉判别上的幻觉，其负查询构造思路也可迁移到 captioning、VQA 的数据筛选与偏好对构建。
ELV-Halluc：面向视频理解中语义聚合幻觉的基准评测
ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Video Understanding
把视频幻觉从「帧级感知错误」重新拆解为「帧级语义聚合为事件级语义时的错误」，并给出可复用的细粒度评测协议与 DPO 缓解方案；做视频 MLLM 时序推理或幻觉评测的工作可直接沿用其 SAH 定义与 8K 对抗视频-文本对数据。
DynamicsBoost：通过无标注续写偏好优化实现动态合理的视频生成
DynamicsBoost: Dynamic Plausible Video Generation via Annotation-Free Continuation Preference Optimization
用视频续写自动构造偏好对（参考帧越多、生成内容越少、保真度越高），把 DPO 从昂贵的人工/VLM 标注中解放出来；做视频生成偏好对齐或奖励建模的可以直接复用这套数据构造与 Asymmetrical DPO 损失设计。
面向视觉语言模型的动态感知偏好优化
Dynamics-Aware Preference Optimization for Vision-Language Models
对做 VLM 偏好微调的人，这篇给出了一个可直接套用的两阶段训练配方：先用低权重“温和负样本”做约束 SFT 压平损失面，再按模型平均每 token 对数概率自适应缩放负样本梯度，从而抑制简单负样本带来的无信息梯度；该权重设计可迁移到任意 DPO 类视觉语言对齐流程。
基于区域感知双模态直接偏好优化的组合式文本到图像生成
Compositional Text-to-Image Generation Via Region-aware Bimodal Direct Preference Optimization
提出区域感知的双模态直接偏好优化（BIDPO），可复用于提升扩散模型对复杂组合提示词的遵循能力，尤其是属性绑定、对象关系和计数等细粒度对齐任务。
ColorFLUX：一种用于老照片上色的结构-颜色解耦框架
ColorFLUX: A Structure-Color Decoupling Framework for Old Photo Colorization
将结构保持与颜色恢复解耦，并利用视觉语义提示替代文本提示来消除老照片的颜色偏差，为图像上色和可控生成提供了可复用的条件控制思路。
Circular-DPO：通过偏好反馈循环对齐多阶段 3D 生成模型
Circular-DPO: Aligning Multi-Stage 3D Generative Models via Preference Feedback Loop
将 DPO 扩展到多阶段 3D 生成流程，通过采样-解码构造跨阶段偏好对，绕过不可微操作实现端到端偏好对齐；质量感知加权机制可复用于其他带噪声偏好数据的对齐训练。
BuildingGPT：基于强化学习的自回归建筑线框重建模型
BuildingGPT: Auto-Regressive Building Wireframe Reconstruction Model with Reinforcement Learning
把建筑线框重建从检测/扩散范式改写为「点云→潜变量→分层词元序列」的自回归下一词元预测，并用 DPO 做后训练对齐；做点云结构化重建或想把 LLM 式序列生成+偏好优化搬到几何任务的人可直接借鉴这套词元化与两阶段训练流程。
超越串行工具：基于动态多专家融合的统一视觉语言模型智能体系统用于摄影后期处理
Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion
把 VLM 当作调度器，为多个只改 K/V 矩阵的专家 LoRA 动态分配权重，并一次性合并进扩散骨干网络完成单步复原，这个「多专家 LoRA 融合 + 单次前向」的范式可直接迁移到去噪、去模糊、低光照增强等耦合退化场景。
Avatar Forcing：面向自然对话的实时交互式头部虚拟人生成
Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation
扩散强制（diffusion forcing）框架将自回归生成与扩散模型结合，实现因果约束下的实时多模态条件生成；直接偏好优化（DPO）利用合成负样本进行无标签的偏好学习，可迁移到其他需要实时交互的生成任务。
面向多角色叙事图像生成的多方面人类偏好对齐
Aligning Multi-Character Narrative Image Generation with Multi-Aspect Human Preferences
提供了面向多角色叙事图像生成的细粒度人类偏好数据集 NI-RLHF 与可解释奖励模型 NIReward，以及按偏好维度自适应平衡的 ADPO 优化策略，可直接迁移到其他需要多维人类偏好对齐的扩散生成任务（如个性化、可控生成）的微调阶段。
φ-DPO：面向大型多模态模型持续学习的公平直接偏好优化方法
$\phi$-DPO: Fairness Direct Preference Optimization Approach to Continual Learning in Large Multimodal Models
提出基于直接偏好优化（DPO）的持续学习范式，并设计 φ-DPO 损失显式处理数据不平衡，可复用于多模态大模型在视觉任务上的持续学习与公平性提升。