Tag · 17 篇
扩散模型微调
面向高分辨率与解耦的基于参考的草图上色
Towards High-resolution and Disentangled Reference-based Sketch Colorization
以 SDXL 为骨干、草图作空间引导、RGB 参考图作颜色参考的参考式草图上色框架，其拆分交叉注意力加空间掩码分别处理前景/背景、以及用 tagger 网络提取属性级控制信号的思路，可直接迁移到其他需要区域解耦与细粒度参考控制的图像生成/编辑任务。
通过方向解耦对齐驯服扩散强化学习中的偏好模式坍缩
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
针对文生图扩散模型做 RLHF 时出现的偏好模式坍缩（奖励黑客）问题，提出在奖励模型嵌入空间中学习一个方向性修正并作用于奖励信号，可直接用于任何基于奖励优化的扩散微调流程以保住生成多样性；配套的 DivGenBench 也提供了衡量多样性坍缩的评测手段。
SliderEdit：基于细粒度指令控制的连续图像编辑
SliderEdit: Continuous Image Editing with Fine-Grained Instruction Control
把多段编辑指令解耦成可连续调节的滑块，用一组共享的低秩适配矩阵实现强度插值，可直接套用到 FLUX-Kontext、Qwen-Image-Edit 等指令编辑模型上，为交互式编辑提供细粒度控制手段。
Realiz3D：通过域感知学习实现照片级真实的3D生成
Realiz3D: 3D Generation Made Photorealistic via Domain-Aware Learning
通过引入协变量与小型残差适配器，将视觉域（真实/合成）从控制信号中解耦，使在合成渲染上微调的扩散生成器在施加几何、材质、视角控制时仍能输出照片级真实图像；其分层与去噪步角色分析可直接迁移到任何需要跨域控制迁移的扩散微调流程。
PureCC：面向文本到图像概念定制的纯学习
PureCC: Pure Learning for Text-to-Image Concept Customization
提出解耦学习目标与双分支训练流程，在注入个性化概念的同时显式约束原模型行为漂移，并给出自适应引导尺度 l*；做个性化生成或微调扩散模型时可直接借鉴其「冻结提取器提供隐式引导 + 可训练流模型保留原条件预测」的结构来缓解灾难性遗忘。
PosterOmni：通过任务蒸馏与统一奖励反馈实现泛化艺术海报创作
PosterOmni: Generalized Artistic Poster Creation via Task Distillation and Unified Reward Feedback
把局部编辑（ID 驱动、缩放、填充、外扩）与全局创作（布局/风格驱动）统一进一个基础编辑模型，并用「数据蒸馏 + 统一奖励反馈」的流水线做多任务对齐，这套任务蒸馏与奖励联合对齐的做法可直接迁移到其他多任务可控生成场景。
MotionEdit：以运动为中心的图像编辑基准与学习方法
MotionEdit: Benchmarking and Learning Motion-Centric Image Editing
MotionNFT 提出了一种基于运动流对齐奖励的扩散模型后训练微调框架，可复用于其他需要精确运动控制的图像编辑任务，如帧控制视频合成中的关键帧编辑。
运动中的光照：时空 HDR 光照估计
Lighting in Motion: Spatiotemporal HDR Lighting Estimation
用扩散先验从单目视频/图像序列回归时空变化的光探针（镜面球+漫反射球多曝光），再经可微渲染合成 HDRI 环境图；其「深度不足以做空间条件、需显式相对位置几何条件」的结论对做光照估计、逆渲染与场景重光照的视觉研究者可直接复用。
少即是多：面向可控文本到视频生成的数据高效适配
Less is More: Data-Efficient Adaptation for Controllable Text-to-Video Generation
对做可控视频生成的研究者，这篇给出了一个反直觉的数据策略：用稀疏、低质量的合成数据微调扩散模型来学习物理相机参数（快门速度、光圈）控制，效果反而优于用真实照片级数据微调；其框架也可用于评估其他条件控制的数据选择。
从第一视角步行游览视频生成无人环境漫游
Generating Humanless Environment Walkthroughs from Egocentric Walking Tour Videos
用半合成视频对（纯背景片段 + 带模拟阴影的行走行人合成片段）微调 Casper 视频扩散模型做人与阴影联合修复，为从众包第一视角视频中清洗出可用于 3D/4D 重建的干净素材提供了可复用的数据构造与微调范式。
从图像修复到图层分解：改造生成式图像修复模型用于图像图层分解
From Inpainting to Layer Decomposition: Repurposing Generative Inpainting Models for Image Layer Decomposition
把预训练的扩散图像修复模型通过轻量微调改造成图层分解器，并用线性复杂度的多模态上下文融合模块在潜空间保留细节；做图像编辑、遮挡恢复或前景/背景分离的研究者可直接复用这一「修复模型即分解模型」的迁移思路与融合模块。
FabricGen：微观结构感知的机织织物生成
FabricGen: Microstructure-Aware Woven Fabric Generation
把材质生成拆成宏观纹理（微调扩散模型）与微观编织几何（LLM 驱动的程序化模型）两路，为视觉研究者提供了一种「扩散模型负责外观、程序化模型负责结构」的混合生成范式，可直接迁移到其他具有强结构规则的材质（针织、编织、木纹）生成与渲染。
EasyOmnimatte：驯服预训练图像修复扩散模型实现端到端视频分层分解
EasyOmnimatte: Taming Pretrained Inpainting Diffusion Models for End-to-End Video Layered Decompositio
将预训练视频修复扩散模型通过LoRA微调为双专家（效果专家与质量专家），在采样不同阶段切换，实现端到端视频分层分解，为视频编辑中的前景与效果分离提供高效方案。
循环一致性调优用于分层图像分解
Cycle-Consistent Tuning for Layered Image Decomposition
利用扩散基础模型和低秩适配进行图层分解，循环一致性训练策略可推广到其他图像分离任务；渐进自改进过程为数据增强提供新思路。
基于双重投影的闭式概念擦除
Closed-Form Concept Erasure via Double Projections
提供一种无需训练、几秒内即可对预训练扩散/流匹配模型做权重级线性编辑的闭式投影工具，可直接用于概念擦除、风格去除等模型安全编辑场景，并可作为研究生成模型表征方向几何结构的探针。
ChimeraLoRA：多头LoRA引导的合成数据集
ChimeraLoRA: Multi-Head LoRA-Guided Synthetic Datasets
提出将LoRA分解为类共享A和图像特定B，并用狄利克雷系数混合生成兼具多样性与细节的合成数据，可直接用于少样本/长尾视觉任务的数据增强。
CRAFT：对齐扩散模型，微调比你想象的更容易
CRAFT: Aligning Diffusion Models with Fine-Tuning Is Easier Than You Think
用复合奖励过滤构造小而一致的偏好数据集，再做增强版 SFT，就能以 100 个样本超越数千对偏好数据的 DPO 类方法；做扩散模型人类偏好对齐时，可把数据筛选环节当作主要杠杆，而不是堆偏好对数量。