Topic · 436 篇
生成模型与扩散
怎么从噪声里采样出数据。扩散、流匹配、自回归图像生成,以及让采样更快的一切。
这个方向的收录判据
以「生成新图像/视频」为核心目标的方法与理论。包括扩散模型(DDPM/DDIM/ flow matching)、GAN、VAE、自回归图像生成、采样加速(蒸馏/少步采样)、 生成质量评估。判据:论文的主要贡献在于"如何采样出数据",而不是"如何理解数据"。
本方向全部 436 篇
iMontage:统一、通用、高动态的多对多图像生成
iMontage: Unified, Versatile, Highly Dynamic Many-to-many Image Generation
把预训练视频模型的时间连贯先验迁移到多图生成,用最小侵入的适配策略保留原始运动先验,为图像集生成与编辑提供统一框架,可复用于需要跨图一致性的多图/故事板生成任务。
dMLLM-TTS:面向扩散多模态大语言模型的自验证高效测试时扩展
dMLLM-TTS: Self-Verified and Efficient Test-Time Scaling for Diffusion Multi-Modal Large Language Models
把 dMLLM 自身的图像理解能力当作验证器,配合 O(N+T) 的分层搜索在采样轨迹与迭代精修两个维度上做测试时扩展,可直接迁移到任意扩散式多模态大模型的推理阶段以提升文生图质量并降低搜索开销。
Yume1.5:文本控制的交互式世界生成模型
Yume1.5: A Text-Controlled Interactive World Generation Model
统一上下文压缩加线性注意力、以及双向注意力蒸馏,是把扩散视频生成压到实时流式(单卡 A100 上 540p 12fps)的可复用手段,做交互式世界模型或长视频生成的人可以直接借鉴其历史上下文压缩与蒸馏流程。
WorldStereo:通过三维几何记忆连接相机引导视频生成与场景重建
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
把增量更新的点云作为全局几何记忆、用3D对应关系约束注意力感受野,为相机可控视频扩散提供了一种可复用的几何条件注入方式;同时其蒸馏骨干网络免联合训练的轻量控制分支设计,对做可控生成与少步采样的人有直接参考价值。
WorldReel:具有一致几何与运动建模的 4D 视频生成
WorldReel: 4D Video Generation with Consistent Geometry and Motion Modeling
把点图、相机轨迹和稠密光流作为显式 4D 表示与 RGB 帧联合生成,为视频生成提供了一条用几何监督约束时空一致性的可复用路线;做视频扩散或世界模型的研究者可以直接借鉴其 4D 监督信号构造与合成/真实数据混合训练策略。
文化何处褪色:揭示文本到图像生成中的文化鸿沟
Where Culture Fades: Revealing the Cultural Gap in Text-to-Image Generation
提出一种通过定位文化敏感神经元并在推理时放大或选择性微调相关层来提升多语言T2I模型文化一致性的方法,为可控生成提供神经元级干预思路。
当数字发声:文本到视频扩散模型中文本数词与视觉实例的对齐
When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models
通过筛选判别性自注意力/交叉注意力头提取可计数的潜变量布局,再调制交叉注意力引导重生成,是一种无需训练即可复用的生成过程结构引导手段,可直接迁移到其他需要空间/数量约束的扩散生成任务。
当局部规则产生全局秩序:面向潜扩散模型的自组织表征学习
When Local Rules Create Global Order: Self-Organized Representation Learning for Latent Diffusion Models
为潜扩散模型提供了一种通过局部吸引与排斥机制自组织形成兼具局部平滑与全局分散潜空间的方法,可提升重建与生成质量,对设计更好的潜空间正则化有直接启发。
成为噪声是什么体验?一种面向扩散模型的基于熵的高斯噪声正则化
What Is It Like to Be a Noise? An Entropy-based Gaussian Noise Regularization for Diffusion Models
为扩散模型潜变量的推理时优化提供一个可单样本计算的「高斯性」正则项,可直接插入现有 latent optimization / 引导式编辑流程,缓解伪影与奖励黑客问题。
Wan-Weaver:通过解耦训练实现交错多模态生成
Wan-Weaver: Interleaved Multi-modal Generation via Decoupled Training
将交错多模态生成分解为文本规划与视觉一致性建模,并利用文本代理数据训练规划器、参考引导图像数据训练可视化器,为视觉生成中的长程跨模态上下文建模提供了可复用的解耦训练思路。
WaDi:权重方向感知蒸馏用于一步图像合成
WaDi: Weight Direction-aware Distillation for One-step Image Synthesis
把蒸馏中权重变化拆成方向与范数两部分,并用可学习低秩旋转矩阵建模方向变化,这一思路可直接迁移到任意扩散/流匹配模型的一步或少步蒸馏,也可作为参数高效微调适配器复用。
视觉感知思维链:在统一模型中实现高保真视觉一致性
Visual-Aware CoT: Achieving High-Fidelity Visual Consistency in Unified Models
将视觉一致性显式纳入统一模型的推理过程,通过自适应视觉规划生成检查清单,并利用迭代视觉修正与流式GRPO强化学习提升多参考生成中的视觉保真度,为可控生成提供了可复用的自反思框架。
面向无人机目标检测的视觉原型条件化焦点区域生成
Visual Prototype Conditioned Focal Region Generation for UAV-Based Object Detection
用类别视觉原型作为扩散模型的条件嵌入,替代纯布局框条件,可缓解小目标边界伪影;配套的焦点区域增强与标签精炼流程可直接用于任何检测器的合成数据增广。
视觉扩散模型是几何求解器
Visual Diffusion Models are Geometric Solvers
把几何/组合优化问题实例渲染成图像,用标准视觉扩散模型从高斯噪声直接生成近似解,为视觉研究者提供「以图像生成为通用求解器」的范式,可迁移到布局、路径规划等需要输出结构化几何配置的任务。
视觉基础模型可以成为潜扩散模型的优秀分词器
Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models
把冻结的视觉基础模型(如 DINO 类语义特征)直接当作潜扩散模型的分词器,并配一个从语义特征重建真实图像的解码器,可显著加快扩散训练收敛;做 LDM 的人可以据此替换 VAE 分词器,做表征学习的人可借鉴其双侧对齐训练策略。
VideoWeaver:面向具身智能体的多模态多视图视频到视频翻译
VideoWeaver: Multimodal Multi-View Video-to-Video Transfer for Embodied Agents
将多视图视频翻译统一到基于前馈空间基础模型(Pi3)的共享4D潜空间,并用不同扩散时间步训练实现视图一致的自回归新视角合成,为具身智能中的世界随机化提供可复用方案。
通过可平移 RGB-A 分布学习器生成稳定透明度的视频
Video Generation with Stable Transparency via Shiftable RGB-A Distribution Learner
通过可平移的 RGB-A 分布学习,在 VAE 训练中引入透明度感知的双向扩散损失,并在噪声空间平移采样均值与高斯椭圆掩码,为透明视频生成提供稳定且可控的扩散采样策略。
VibeToken:扩展一维图像分词器与自回归模型以实现动态分辨率生成
VibeToken: Scaling 1D Image Tokenizers and Autoregressive Models for Dynamic Resolution Generations
把图像编码成 32–256 个可动态控制长度的一维 token,使自回归生成器在任意分辨率下保持恒定浮点运算量;做视觉生成时可借鉴其分辨率无关的分词器设计,替代固定分辨率 VQ 分词器来降低高分辨率推理成本。
Vibe空间:创意连接与表达视觉概念
Vibe Spaces for Creatively Connecting and Expressing Visual Concepts
提出在CLIP特征空间中学习层次图流形以获取低维测地线,实现远距离视觉概念间的平滑语义过渡,为概念混合与创意生成提供可复用的几何路径规划方法。
VerseCrafter:具备4D几何控制的动态真实视频世界模型
VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control
用静态背景点云加逐物体3D高斯轨迹构成的4D几何控制表示,渲染成控制图去条件化预训练视频扩散模型,为视觉研究者提供了一种类别无关、可精确控制相机与多物体运动的视频生成条件化范式。
VectorArk:以圆角多边形表示学习实用的图像矢量化
VectorArk: Learning Practical Image Vectorization with Rounded Polygon Representation
圆角多边形表示把矢量图元的学习简化为可回归的几何参数,配合退化模型提升对未知栅格化方式与生成图像的鲁棒性,可复用于任何需要从像素回归结构化几何表示的视觉任务。
VecGlypher:基于语言模型的统一矢量字形生成
VecGlypher: Unified Vector Glyph Generation with Language Models
将矢量字形生成建模为自回归序列生成问题,直接输出SVG路径令牌,避免了栅格化中间步骤,为视觉生成任务提供了一种可编辑、高保真的矢量输出范式;其两阶段训练策略和坐标量化方法可迁移到其他结构化图形生成任务。
VISTA:一种测试时自改进的视频生成智能体
VISTA: A Test-Time Self-Improving Video Generation Agent
把视频生成的质量提升从改模型转到改提示词:用多智能体在测试时迭代重写提示词,并用成对锦标赛选出最优样本,这套「生成—评估—反思—重写」的闭环可直接套用到任何黑盒视频或图像生成器上做免训练增强。
VENI:用于自然光照的变分编码器
VENI: Variational Encoder for Natural Illumination
提供了一种在球面上直接建模光照环境的旋转等变变分自编码器,其 SO(2)-等变全连接层和 VN-ViT 编码器可复用于任何需要球面信号(如环境贴图、全景图)等变表征的视觉任务,并给出了更平滑的潜空间插值方案。
VDOT:通过最优传输蒸馏实现高效统一视频创作
VDOT: Efficient Unified Video Creation via Optimal Transport Distillation
将最优传输距离引入分布匹配蒸馏,替代KL散度以缓解少步生成中的梯度崩溃问题,为扩散模型加速提供可复用的训练目标设计。
正确的VAR强化学习:解决视觉自回归生成中的异步策略冲突
VAR RL Done Right: Tackling Asynchronous Policy Conflicts in Visual Autoregressive Generation
针对VAR模型在强化学习微调中因异构输入结构导致的异步策略冲突问题,提出稳定中间奖励、动态时间步重加权和掩码传播算法,为视觉自回归生成模型的RL对齐提供了可复用的技术方案。
VA-π:面向像素感知自回归生成的变分策略对齐
VA-p: Variational Policy Alignment for Pixel-Aware Autoregressive Generation
将自回归生成器的词元似然优化与像素空间重建质量对齐,通过变分ELBO和强化学习策略(以重建质量为内在奖励)实现轻量后训练,可直接用于提升现有AR生成模型(如LlamaGen、Janus-Pro)的生成质量,无需重训分词器或外部奖励模型。
UnityVideo:面向世界感知视频生成的统一多模态多任务学习
UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation
将分割掩码、人体骨架、DensePose、光流、深度图等多种异构模态作为统一条件输入视频扩散模型,并用动态加噪统一不同训练范式、用模态切换器+上下文学习器实现模块化参数共享,为视觉研究者提供了一套可复用的多模态条件注入与跨模态泛化方案。
通过多级扩散统一精确关键帧与语义控制
Unifying Precise Keyframes and Semantic Control via Multi-level Diffusion
多级扩散框架把文本语义与关键帧隐式线索结合来调制全局运动动态、用单帧引导局部过渡,其推理阶段的轨迹细化+扩散插补策略可迁移到任何需要严格满足稀疏约束的生成任务(如视频插帧、轨迹可控生成)。
基于标记表示的统一矢量户型图生成
Unified Vector Floorplan Generation via Markup Representation
把户型图编码成结构化标记语言后统一为下一词元预测,这种「用单一序列语法统一异构条件」的思路可迁移到布局生成、场景图到图像等需要多条件输入的可控生成任务。
基于流匹配的统一无人数约束文本到动作生成
Unified Number-Free Text-to-Motion Generation Via Flow Matching
把 flow matching 用在多人动作生成上,用统一潜空间桥接异构动作数据集、用金字塔分辨率条件化降低开销、用半噪声联合概率路径缓解自回归误差累积,这套「单次先验生成 + 多次反应生成」的分解思路可迁移到多人交互视频生成与人体动作预测。
通过语义自编码器构建理解与生成的统一潜空间
Unified Latent Space for Understanding and Generation via Semantic Auto-encoder
为 DiT 类扩散模型提供一个同时具备语义判别力与细粒度几何保真度的统一潜空间自编码器,可直接替换现有 VAE/语义编码器前端,兼顾重建质量与收敛效率。
面向可控视频生成的统一相机位置编码
Unified Camera Positional Encoding for Controlled Video Generation
提出 Relative Ray Encoding 把 6-DoF 位姿、内参和镜头畸变统一编码为几何一致的射线表示,并以不到 1% 可训练参数的轻量空间注意力适配器注入预训练视频 DiT,可直接复用于多视角生成、新视角合成和 3D 感知骨干的相机条件注入。
UniLight:一种统一的光照表示
UniLight: A Unified Representation for Lighting
把光照(环境图、辐照度、文本、图像)统一到一个共享潜空间,可直接作为扩散图像合成的条件信号,实现跨模态光照检索与可控重打光;其对比对齐加球谐预测的辅助任务思路也可迁移到其他物理属性(材质、相机参数)的跨模态表示学习。
UniLS:面向统一听与说的端到端音频驱动虚拟人
UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking
两阶段训练范式(先无音频自回归学习内在运动先验,再用双轨音频微调调制)为音频驱动的人脸/头部生成提供了可复用思路,尤其适合解决弱音频驱动信号下生成僵硬的问题;双轨音频端到端设定也可直接用于交互式数字人。
UniGenDet:面向协同进化图像生成与生成图像检测的统一生成-判别框架
UniGenDet: A Unified Generative-Discriminative Framework for Co-Evolutionary Image Generation and Generated Image Detection
把生成器与检测器放进同一框架做协同进化,用检测器提供的真实性信号反向引导生成、用生成任务提升真实性判别的可解释性,为「生成-取证」联合建模提供了可复用的统一微调与信息交换机制。
UniAVGen:基于非对称跨模态交互的统一音频与视频生成
UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions
提出非对称跨模态交互机制与模态感知无分类器引导,可复用于任何需要时空对齐的多模态生成任务(如视频配音、说话人脸生成),其双分支 DiT 架构与 Face-Aware 调制为视觉-音频联合建模提供了新思路。
Uni-DAD:面向少步少样本图像生成的扩散模型统一蒸馏与适配
Uni-DAD: Unified Distillation and Adaptation of Diffusion Models for Few-step Few-shot Image Generation
把扩散蒸馏与域适配合并成单阶段训练:用双域分布匹配蒸馏(源教师+目标教师)保住源域多样性,再用多头GAN损失在少样本下稳定训练,可直接用于少样本域适配与主体驱动个性化,在少于4步采样下逼近两阶段流程的质量。
理解、加速与改进 MeanFlow 训练
Understanding, Accelerating, and Improving MeanFlow Training
MeanFlow 的训练动力学分析揭示了瞬时速度与平均速度的相互依赖关系,并据此设计了分阶段训练方案,可加速少步生成模型的收敛并提升生成质量,对基于流匹配的扩散模型训练有直接借鉴意义。
UltraFlux:面向多宽高比高质量原生 4K 文本到图像生成的数据-模型协同设计
UltraFlux: Data-Model Co-Design for High-quality Native 4K Text-to-Image Generation across Diverse Aspect Ratios
针对原生 4K 文生图,提出 Resonance 2D RoPE 与 YaRN 结合的位置编码、非对抗 VAE 后训练、SNR 感知的 Huber 小波损失以及分阶段美学课程学习,系统解决高分辨率下位置编码、VAE 压缩与优化耦合失效的问题,可直接迁移到其他高分辨率扩散模型。
过渡模型:重新思考生成学习目标
Transition Models: Rethinking the Generative Learning Objective
TiM 提出了一种精确的连续时间动力学方程,可解析定义任意有限时间间隔的状态转移,使生成模型能在单步跳跃与多步细化之间无缝切换,并随采样步数增加单调提升质量。这对视觉生成研究意味着可以设计更灵活的采样策略,在少步与多步生成间取得平衡,同时支持高达 4096x4096 的原生分辨率生成。
面向快速视频生成的转移匹配蒸馏
Transition Matching Distillation for Fast Video Generation
把扩散/流模型的骨干网络拆成「主骨干 + 轻量 flow head」,在每个外层转移步内用 flow head 做多次内层流更新,再配合分布匹配蒸馏,可作为一种通用的少步蒸馏结构复用到图像或视频扩散加速上。
免训练、感知一致的低分辨率预览与高分辨率图像:面向扩散模型高效工作流
Training-free, Perceptually Consistent Low-Resolution Previews with High-Resolution Image for Efficient Workflows of Diffusion Models
对做扩散/流匹配采样加速的人,这篇给出一个免训练的「commutator-zero」条件:通过选择下采样矩阵并施加引导,让低分辨率预览与高分辨率结果在感知上保持一致,可直接作为 HR 生成前的候选筛选环节,与现有少步/蒸馏加速叠加还能再拿 3 倍加速。
面向组合式视频生成的免训练运动分解
Training-free Motion Factorization for Compositional Video Generation
把复杂运动拆成静止/刚体/非刚体三类,并用免训练的引导分支在扩散采样中分别约束外观稳定、刚体几何与局部形变,可直接迁移到任何视频扩散骨干上做可控运动合成。
迈向叙事动画:人体与相机运动的联合合成
Towards Storytelling Animations: Joint Synthesis of Human and Camera Motions
把相机与角色视为同等实体、在扩散过程中显式建模两两交互的思路,可直接迁移到需要联合控制相机与动态主体的视频生成或虚拟摄影任务中;其真实+合成混合数据训练策略也值得借鉴。
借助三维基础先验实现真实且一致的环绕视角视频生成
Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors
把 3D 基础生成模型的潜变量特征(全局潜向量 + 体特征投影的潜图像)通过多尺度 3D 适配器以跨注意力注入视频扩散模型,为长程视角外推(如背面合成)提供完整形状约束,避免显式网格提取;这套「3D 先验条件化视频生成」的接口设计可直接迁移到新视角合成与环绕视角视频生成任务。
面向视频帧插值的整体建模:自回归扩散 Transformer
Towards Holistic Modeling for Video Frame Interpolation with Auto-regressive Diffusion Transformers
把视频帧插值从「三元组」式局部处理改为整段视频的自回归扩散 Transformer 建模,配合 skip-concatenate 采样抑制误差累积、稀疏局部注意力与瓦片式 VAE 编码支持 4K 任意分辨率推理,可直接迁移到长视频生成与视频复原任务的长时序一致性建模。
面向高约束人体动作生成的检索引导扩散噪声优化
Towards Highly-Constrained Human Motion Generation with Retrieval-Guided Diffusion Noise Optimization
把「检索到的参考动作噪声」作为扩散噪声优化的初始化,并用奖励引导掩码与随机噪声混合,这一免训练思路可直接迁移到其他受强约束的生成任务(如布局约束的图像/视频生成、轨迹约束的动画)。
迈向细粒度归因:用于对齐扩散模型的实例感知偏好优化
Towards Fine-Grained Attribution: Instance-Aware Preference Optimization for Aligning Diffusion Models
将扩散模型对齐的偏好优化从图像级推进到实例级,通过自动构建实例级偏好数据集和动态重加权掩码,为视觉生成模型提供更细粒度的反馈信号,可复用于其他需要局部控制的生成任务。
面向分解式人体运动生成的能量扩散模型
Towards Decompositional Human Motion Generation with Energy-Based Diffusion Models
把能量模型与扩散采样结合,用组合分布刻画多个运动概念的并集,从而在无逐概念真值的情况下把整体运动拆成可复用基元;这套「能量式组合分布 + 分解训练」的思路可直接迁移到视觉中的组合式视频/动作生成与概念解耦。
面向文本到图像扩散模型的早期质量评估
Toward Early Quality Assessment of Text-to-Image Diffusion Models
对做 T2I 生成的人,Probe-Select 提供了一种在去噪轨迹早期(约 20% 步数)用中间激活预测最终质量分、提前终止劣质种子的插件式方案,可直接嵌入现有 diffusion/flow-matching 采样循环,把 generate-then-select 的算力开销降下来。
迈向可扩散的高维潜空间:频率视角
Toward Diffusible High-Dimensional Latent Spaces: A Frequency Perspective
揭示了高维潜空间中编码器对高频成分欠表达、解码器却强依赖高频潜变量恢复细节的错配,并给出一个无需重训自编码器、可插拔的频率预热课程,可直接套用到任意潜空间扩散/流匹配训练流程中以提升生成质量。
边生成边思考:在视觉生成过程中交错嵌入文本推理
Thinking-while-Generating: Interleaving Textual Reasoning throughout Visual Generation
把文本推理链交错插入到视觉生成的时间轴上,让模型在生成局部区域时同步进行引导与反思;这一「边生成边推理」的调度方式可直接迁移到自回归图像生成、视频生成以及可控生成的条件注入设计中。
ThinkGen:面向视觉生成的泛化思维
ThinkGen: Generalized Thinking for Visual Generation
把 MLLM 的思维链推理作为扩散生成的指令来源,并用可分离的 GRPO 交替训练 MLLM 与 DiT,为视觉生成提供了一条可跨场景泛化的「先推理后生成」训练范式,可直接迁移到文生图、指令式编辑等条件生成任务。
细节决定成败:通过关键帧驱动的细节注入增强视频虚拟试穿
The devil is in the details: Enhancing Video Virtual Try-On via Keyframe-Driven Details Injection
提出关键帧驱动的细节注入策略,在不修改 DiT 架构的前提下将服装动态与背景一致性信息注入标准 DiT 块,为视频生成中的细粒度控制与背景保持提供可复用方案。
通用正态嵌入
The Universal Normal Embedding
把 DDIM 反演得到的扩散噪声当作可线性探测的语义潜变量,用线性探针与正交化方向实现无需改架构的可控属性编辑;这为视觉研究者提供了一条把生成噪声与 CLIP/DINO 嵌入对齐、复用于编辑与表征分析的具体路径。
图像即奖励:面向图像生成的对抗奖励强化学习
The Image as Its Own Reward: Reinforcement Learning with Adversarial Reward for Image Generation
用参考图像和视觉基础模型(如 DINO)提供密集视觉奖励,替代标量偏好奖励,可缓解奖励攻击并提升生成质量;该对抗奖励框架可复用于扩散模型或流匹配模型的强化学习微调。
漂移核:为何扩散模型即使被要求不变也会改变输出
The Drift Kernel: Why Diffusion Models Change Even When Told Not To
该论文提出的漂移核 K_M(σ) 为量化扩散模型在空操作下的感知偏差提供了理论工具,其与解码器雅可比矩阵的关联(k_M = Tr(J_D J_D^T))可指导视觉研究者设计更稳定的解码器或评估编辑保真度。
Texvent:基于文本提示的异步事件数据仿真
Texvent: Asynchronous Event Data Simulation via Text Prompt
用多模态大模型按文本提示渲染视频,再经物理仿真器转成异步事件流,为事件相机视觉任务提供低成本、可扩展的合成数据管线;其中自适应亮度感知帧插值与基于缓存的电压刷新机制可直接复用于事件数据增广与仿真器改进。
测试时实例特定参数组合:自适应生成建模的新范式
Test-Time Instance-Specific Parameter Composition: A New Paradigm for Adaptive Generative Modeling
在推理前一次性生成输入条件化的权重增量并注入预训练生成模型,为视觉生成模型提供免微调的逐样本自适应手段,可直接用于轻量化/量化扩散模型的质量补偿与测试时扩展。
通过空文本嵌入优化实现文本到图像扩散模型的测试时对齐
Test-Time Alignment of Text-to-Image Diffusion Models via Null-Text Embedding Optimisation
把测试时对齐的作用点从潜变量或噪声改到无分类器引导的无条件文本嵌入上,利用文本嵌入空间的语义结构约束优化轨迹,可直接复用到任何需要奖励微调或偏好对齐的扩散采样流程中,并缓解奖励攻击。
时间均衡平均流:弥合一步生成的尺度差距
Temporal Equilibrium MeanFlow: Bridging the Scale Gap for One-Step Generation
TEMF 通过时间均衡加权和动态边界调度器解决了 MeanFlow 在一步生成中的时间尺度不平衡问题,使一步生成达到 SOTA FID,为视觉生成任务提供了无需改变架构的稳定训练策略。
TempoMaster:通过下一帧率预测实现高效长视频生成
TempoMaster: Efficient Long Video Generation via Next-Frame-Rate Prediction
把长视频生成拆成「先低帧率粗蓝图、再逐级升帧率精修」的层级自回归范式,帧内双向注意力保证并行效率、跨帧率自回归保证长程时序一致,可直接迁移到任何需要长时序一致性的视频扩散/流匹配采样流程中。
面向任务的数据合成与控制修正采样用于遥感语义分割
Task-Oriented Data Synthesis and Control-Rectify Sampling for Remote Sensing Semantic Segmentation
提出基于 MM-DiT 的文本-图像-掩码联合注意力控制方案与全微调策略,并设计控制修正流匹配(CRFM)在采样早期用语义损失动态调整方向,可直接用于提升少样本遥感语义分割的合成数据质量。
通过零样本相机控制驾驭视频模型实现 3D 与 4D 生成
Taming Video Models for 3D and 4D Generation via Zero-Shot Camera Control
提出一种免训练、模型无关的推理时相机轨迹控制方法:在去噪过程中用步内精修循环注入运动引导,并用光流分析定位潜空间中与运动相关的通道,从而解耦运动与外观;可直接复用于视频生成、3D/4D 生成以及视频编辑、稳定化等需要精确相机控制的下游任务。
用方差扩张损失驯服潜扩散模型中的采样扰动
Taming Sampling Perturbations with Variance Expansion Loss for Latent Diffusion Models
针对潜空间扩散模型的 tokenizer 训练环节,提出方差扩张损失来抑制 b-VAE 潜空间的方差坍缩,使潜流形对扩散采样中的随机扰动更鲁棒;做 LDM/DiT 类生成时可直接替换或叠加到 VAE 微调目标中,无需改动扩散主干。
通过方向解耦对齐驯服扩散强化学习中的偏好模式坍缩
Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning
针对文生图扩散模型做 RLHF 时出现的偏好模式坍缩(奖励黑客)问题,提出在奖励模型嵌入空间中学习一个方向性修正并作用于奖励信号,可直接用于任何基于奖励优化的扩散微调流程以保住生成多样性;配套的 DivGenBench 也提供了衡量多样性坍缩的评测手段。
TV2TV:面向交错语言与视频生成的统一框架
TV2TV: A Unified Framework for Interleaved Language and Video Generation
把视频生成拆成交错的文本推理与视频流匹配两步,用 Mixture-of-Transformers 让语言塔决定「接下来发生什么」、视频塔负责出帧,可直接借鉴到需要长程语义分支的视频生成与推理时文本干预控制。
TC-Pade:面向扩散加速的轨迹一致 Padé 逼近
TC-Pade: Trajectory-Consistent Pade Approximation for Diffusion Acceleration
用有理函数(Padé 逼近)替代 Taylor 类多项式外推来做扩散模型的特征缓存预测,并配合自适应系数调制与分阶段预测策略,可直接嵌入 DiT/FLUX/Wan 等视觉生成骨干,在 20-30 步低步数区间实现约 2-3 倍采样加速而不掉画质。
TAP:面向无训练扩散加速的词元自适应预测器框架
TAP: A Token-Adaptive Predictor Framework for Training-Free Diffusion Acceleration
把「逐词元自适应选择预测器」作为即插即用的无训练加速模块,可直接套到已有扩散/流匹配采样器上,用首层单次前向作为低成本探针来分配不同阶数/视野的泰勒外推,替代全局固定缓存策略。
TAG-MoE:面向统一生成式混合专家的任务感知门控
TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts
把任务语义(范围、类型、保留程度)注入 MoE 门控网络,用预测对齐正则化让路由决策与高层任务意图对齐,可直接迁移到任何需要多任务共享参数的扩散 Transformer 中,缓解局部编辑与主体驱动生成之间的任务干扰。
合成课程强化组合式文本到图像生成
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
用场景图定义组合难度并配合 MCMC 图采样构造由易到难的训练课程,再接入 GRPO 做强化学习微调,这套「难度感知课程 + 策略优化」流程可直接迁移到扩散或自回归 T2I 模型的组合能力提升上。
SynthRGB-T:面向多样性合成的语言-视觉引导图像翻译
SynthRGB-T: Language-Vision Guided Image Translation for Diversity Synthesis
把红外↔可见光图像翻译建模为视觉语言引导的去噪扩散过程,并用解耦注入策略与双条件交叉注意力处理多路引导冲突,可直接复用于跨模态数据增广与开放世界条件生成。
SyncDreamer:超越说话头部的可控且富有表现力的虚拟人生成
SyncDreamer: Controllable and Expressive Avatar Generation Beyond the Talking Head
用 Diffusion Transformer 直接从单图+语音+文本提示词生成全身说话数字人,其视觉适配器与注意力定位损失可复用于任何需要身份保持的条件生成任务;音频动力学编码器把节奏/能量等连续语音特征注入扩散过程,为语音驱动的细粒度运动控制提供了可借鉴的条件注入方式。
SynMotion:面向运动定制视频生成的语义—视觉自适应
SynMotion: Semantic-Visual Adaptation for Motion Customized Video Generation
把主体与运动表征解耦成双嵌入、再叠加参数高效运动适配器的做法,可直接迁移到任何需要「保留主体身份、只换动作」的视频扩散定制任务;配套的交替训练策略与 SPV 数据构造方式也为少样本运动定制提供了可复用的训练范式。
SymphoMotion:联合控制相机运动与物体动态的连贯视频生成
SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation
把相机位姿与物体级 3D 轨迹作为解耦条件注入视频扩散模型,为可控视频生成提供了「相机运动 vs 物体运动」分离建模的可复用范式,并配套 RealCOD-25K 真实配对数据可用于训练与评测。
SwitchCraft:基于注意力控制的免训练多事件视频生成
SwitchCraft: Training-Free Multi-Event Video Generation with Attention Controls
EAQS 通过按事件对齐帧级注意力来引导提示词注入,ABSS 自适应调节引导强度,这套免训练的注意力操控思路可直接迁移到任何 DiT 类视频扩散模型上,用于解决多阶段叙事、镜头切换等时序可控生成问题。
StyleDoctor:面向以风格为中心的生成任务的专家奖励模型
StyleDoctor: Towards Specialist Reward Model for Style-centric Generation Tasks
为风格化扩散生成提供可复用的风格感知奖励模型,可直接接入 RLHF/奖励微调流程,替代通用人类偏好奖励模型来提升风格一致性与文图对齐。
Style-GRPO:由奖励建模引导的语义感知图像风格迁移偏好优化
Style-GRPO: Semantic-Aware Preference Optimization for Image Style Transfer Guided by Reward Modeling
提供了一套可复用的「奖励模型 + 在线 RL」范式:先构建 8 万级空间关系偏好对训练 SpatialScore 奖励模型,再用其驱动 GRPO 式在线强化学习提升扩散模型的空间关系生成能力,可直接迁移到其他需要精确空间布局的可控生成任务。
StreamDiT:实时流式文本到视频生成
StreamDiT: Real-Time Streaming Text-to-Video Generation
把流匹配训练与移动缓冲区结合,使 DiT 能逐块流式生成视频;配套的分段多步蒸馏把 NFE 压到缓冲区块数,为视觉研究者提供了把任意扩散/流模型转成实时流式生成器的可复用范式。
StreamAvatar:面向实时交互式人体虚拟人的流式扩散模型
StreamAvatar: Streaming Diffusion Models for Real-Time Interactive Human Avatars
把高保真人体视频扩散模型通过自回归蒸馏+对抗精炼改造成因果流式生成器,配合 Reference Sink 与 RAPR 维持长时一致性,为实时交互式数字人提供可复用的少步流式采样方案。
StoryTailor:面向动作丰富多主体视觉叙事的零样本流水线
StoryTailor:A Zero-Shot Pipeline for Action-Rich Multi-Subject Visual Narratives
GCA 用高斯加权注意力缓解多主体 grounding box 重叠,AB-SVR 在文本嵌入空间放大动作方向,SFC 缓存可迁移背景线索——三者都是可插拔的零样本模块,可直接迁移到多主体视频生成或长序列故事板生成中提升主体一致性与动作忠实度。
StereoWorld:几何感知的单目到立体视频生成
StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation
把预训练视频生成器改造成单目到立体的生成器,并用几何感知正则化显式约束视差结构,对做视频生成、立体内容生产、以及想在生成过程中注入3D几何先验的人可直接复用。
立体世界模型:相机引导的立体视频生成
Stereo World Model: Camera-Guided Stereo Video Generation
提出相机帧RoPE和立体感知注意力分解,在RGB模态下直接生成具有视差一致性的立体视频,可复用于需要相机控制的多视角视频生成任务,并支持长视频蒸馏。
面向流匹配模型 GRPO 的逐步信用分配
Stepwise Credit Assignment for GRPO on Flow-Matching Models
把扩散/流匹配的采样步按「低频结构 vs 高频细节」分层做信用分配,可直接迁移到任何用 GRPO/RLHF 微调图像或视频生成模型的后训练流程,提升样本效率与收敛速度。
引导扩散方向:基于引导扩散桥的表型响应模拟生成建模
Steering Where to Diffuse: Generative Modeling of Phenotypic Response Simulation with Steered Diffusion Bridge
把扩散桥的采样过程形式化为随机动力系统下的最优控制问题,用解析可解的控制策略把生成轨迹引导到指定数据子空间,这一思路可直接迁移到图像/视频扩散中的条件引导与轨迹漂移抑制。
StableMaterials:通过半监督学习增强材质生成的多样性
StableMaterials: Enhancing Diversity in Material Generation via Semi-Supervised Learning
把 SDXL 的对抗式蒸馏用于潜扩散模型,可在无标注条件下扩展生成分布,这一思路可迁移到其他数据稀缺的生成任务(如特定风格纹理、领域受限图像);其四步潜一致性蒸馏加去伪影的 tileable 采样技巧,对需要快速、无缝生成的视觉应用有直接参考价值。
StableMTL:改造潜扩散模型以从部分标注的合成数据集进行多任务学习
StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets
把预训练潜扩散模型改造成多任务密集预测的潜回归器,用统一潜损失替代逐任务损失、用任务注意力把 N-to-N 交互降为 N-to-one,为视觉研究者提供了一条免调损失权重、可随任务数扩展的多任务训练范式。
稳定平均流:受李雅普诺夫启发的一步流匹配
Stable Mean Flow: Lyapunov-Inspired One-Step Flow Matching
为一步流匹配生成器提供一个可即插即用的稳定性正则项,约束单步传输映射的局部非扩张性,从而抑制轨迹漂移并加速收敛;做少步/一步图像生成的研究者可直接把该正则加入训练损失以提升样本质量。
面向视觉分词与生成的球面 Leech 量化
Spherical Leech Quantization for Visual Tokenization and Generation
把无参数量化统一到格编码框架下,用 Leech 格(Λ24)在高维球面上做均匀量化,可直接替换 BSQ 等无查找量化器嵌入自回归图像生成与压缩管线,简化训练配方并改善重建-压缩折中。
SpeeDiff:可扩展的像素锚定端到端潜扩散模型
SpeeDiff: Scalable Pixel-Anchored End-to-End Latent Diffusion Model
把扩散损失梯度直接回传到 VAE 编码器做端到端联合训练,并用 Tweedie 公式从中间噪声态解码预测的干净潜变量来加像素级重建约束,避免潜空间坍缩;做视觉生成的人可以借此替换掉「预训练冻结 VAE + 两阶段」的常规流程,显著缩短训练时间并复用其 32x 压缩 VAE 与 Transformer 联合缩放策略。
面向气候模拟的时空金字塔流匹配
Spatiotemporal Pyramid Flow Matching for Climate Emulation
将级联视频生成中的时空金字塔思想引入流匹配:把生成轨迹按空间分辨率与时间尺度分层,每层绑定一个时间尺度并直接采样,从而在任意时间层级并行生成。这一「分辨率-时间尺度耦合」的采样设计可迁移到长视频生成与多尺度时空预测任务,用于降低长时序 rollout 的计算成本。
SpatialReward:面向文本到图像生成中细粒度空间一致性的可验证空间奖励建模
SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation
提供了一套可验证的空间奖励建模流程:用提示词分解器抽取实体与空间元数据,用专家检测器做视觉定位,再用视觉语言模型做思维链推理判断空间关系,可直接作为强化学习微调 T2I 模型(SD、FLUX)的奖励信号,也可复用其 SpatRelBench 评测生成图像的空间一致性。
Spatia:具有可更新空间记忆的视频生成
Spatia: Video Generation with Updatable Spatial Memory
将3D点云作为持久空间记忆,通过视觉SLAM迭代更新,为视频生成提供几何约束,可复用于长视频生成中的空间一致性保持与相机控制。
Sparse-LaViDa:稀疏多模态离散扩散语言模型
Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
对做视觉生成/编辑的人,这篇给出了一个可直接套用的加速手段:在掩码离散扩散的每一步采样中动态截断冗余的掩码 token,并用 register token 保留其信息、用匹配的注意力掩码对齐训练与推理,从而在文本到图像生成与图像编辑上获得约 2 倍加速而不掉质量。
SpaceTimePilot:跨空间与时间的动态场景生成式渲染
SpaceTimePilot: Generative Rendering of Dynamic Scenes Across Space and Time
通过动画时间嵌入与时间扭曲训练方案,在视频扩散模型中显式解耦相机运动与场景运动,为可控新视角视频生成提供可复用的条件控制手段;CamxTime 数据集可用于训练自由时空轨迹渲染。
SounDiT:地理上下文声景到景观生成
SounDiT: Geo-Contextual Soundscape-to-Landscape Generation
把环境声景作为条件、地理上下文作为先验,用 DiT 生成地理上合理的景观图像;其 PSS 评测框架(元素/场景/人类感知三级一致性)可迁移到其他跨模态生成任务的条件一致性度量。
Soul:为数字人注入生命,实现高保真长期多模态动画
Soul: Breathe Life into Digital Human for High-fidelity Long-term Multimodal Animation
提出基于Wan2.2-5B骨干的多模态驱动数字人动画框架,通过音频注入层和阈值感知码本替换实现长期一致性,并利用步数/CFG蒸馏与轻量VAE实现11.4倍推理加速,为视频生成中的长时一致性和效率优化提供可复用方案。
SoliReward:缓解视频生成奖励模型对奖励攻击与标注噪声的敏感性
SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models
为视频生成模型的偏好对齐提供了一套可复用的奖励模型训练范式:用单条二值标注加跨提示配对构造偏好数据,用分层渐进查询注意力聚合特征,并改造 BT 损失以容纳平局样本、正则化正样本分数分布,从而缓解奖励攻击;做视频生成后训练或构建 VLM 奖励模型时可直接借鉴这套数据与损失设计。
平滑分数函数以增强扩散模型的泛化能力
Smoothing the Score Function to Enhance Generalization in Diffusion Models
为扩散模型提供了一套解释记忆化(memorization)的理论框架,并给出两种可直接插入训练流程的改进手段——噪声去条件化(Noise Unconditioning)与温度平滑(Temperature Smoothing),可用于缓解采样崩溃、提升生成泛化性,对做扩散模型训练与采样的人可直接复用。
相似性一致似然扩散实现从墙壁反射的隐藏人物检测
Similarity-Consistent Likelihood Diffusion enables Hidden Person Detection from Wall Reflections
将异方差伪似然融入确定性DDIM采样,并通过退火贝叶斯精度更新与扩散先验融合,为逆问题提供可复现且测量一致的生成式重建方案,可迁移到其他欠定视觉重建任务。
SignPR:一种用于手语生成的渐进式矢量量化扩散框架
SignPR: A Progressive Vector-Quantized Diffusion Framework for Sign Language Production
把 VQVAE 的离散语义表征与分块因果扩散结合,先出语义一致的整体姿态再逐步细化运动细节,这套「离散 token + 渐进细化 + 因果分块」的生成范式可迁移到人体动作生成、手势驱动和长序列姿态合成等视觉任务。
ShowTable:通过协同反思与精炼解锁创意表格可视化
ShowTable: Unlocking Creative Table Visualization with Collaborative Reflection and Refinement
把 MLLM 当作规划与错误评判的编排器、扩散模型当作执行器,通过渐进式自纠正循环把结构化数据映射为高保真信息图,这一「推理-生成-纠错」闭环可迁移到任何需要精确数据到视觉映射的条件生成任务。
ShotDirector:具备电影化转场的导演级可控多镜头视频生成
ShotDirector: Directorially Controllable Multi-Shot Video Generation with Cinematographic Transitions
把 6-DoF 相机位姿与内参作为参数级条件注入视频生成模型,并用镜头感知掩码实现分层提示控制,为可控多镜头视频生成提供了可复用的条件注入与转场设计范式。
ShapeAR:通过自回归扩散生成可编辑形状层
ShapeAR: Generating Editable Shape Layers via Autoregressive Diffusion
把光栅图像分解为可编辑的 RGBA 矢量形状层,并用自回归流匹配扩散在潜空间中逐步生成,为图像矢量化与分层编辑提供了一条不依赖边界追踪的新路径;其几何感知评测指标也可复用于形状生成质量评估。
ShadowDraw:从任意物体到阴影绘画组合艺术
ShadowDraw: From Any Object to Shadow-Drawing Compositional Art
将3D物体投影为阴影并生成互补线稿,为计算视觉艺术提供可复用的场景优化与轮廓引导生成管线,可启发基于物理投影的图像合成与编辑。
SenCache:通过敏感性感知缓存加速扩散模型推理
SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching
提出基于模型输出敏感性的动态缓存策略,可无缝集成到现有视频扩散模型(如 Wan 2.1、CogVideoX)中,在相近计算预算下提升生成质量,为免训练加速提供理论指导。
语义先行:用异步潜扩散协调语义与纹理建模
Semantics Lead the Way: Harmonizing Semantic and Texture Modeling with Asynchronous Latent Diffusion
把预训练视觉编码器的语义潜变量与 VAE 纹理潜变量拼接,并用带时间偏移的两套噪声调度异步去噪,让语义先于纹理成形;这一「语义先行」的调度可直接嵌入现有 DiT/LDM 训练流程,用于加速收敛并提升 FID。
面向动态时空融合的语义自适应扩散框架
Semantic-Adaptive Diffusion for Dynamic Spatiotemporal Fusion
把扩散模型当作多源卫星图像的条件生成器,用 Taylor 式解码器解耦低分辨率与高频分量来约束解空间,并配合时序特征对齐与语义自适应融合,在统一潜变量空间中做时空超分融合;这套「解耦约束 + 潜空间对齐」的思路可迁移到视频超分、多帧复原等需要跨帧细节补全的视觉任务。
自评估解锁任意步文本到图像生成
Self-Evaluation Unlocks Any-Step Text-to-Image Generation
提出一种从零训练的自评估机制,使单一模型在极少步数下仍能生成高质量图像,且性能随推理步数增加单调提升,为少步扩散/流匹配模型训练提供了无需预训练教师的新范式。
看见关键之处:面向视觉生成的视觉偏好策略优化
Seeing What Matters: Visual Preference Policy Optimization for Visual Generation
把 GRPO 的单一标量奖励升级为基于预训练视觉骨干构建的像素级/时序级优势图,可直接复用到任何扩散或视频生成模型的 RL 后训练中,用于抑制局部伪影、强化细粒度感知区域。
SeeU:通过 4D 动态感知生成看见未见世界
SeeU: Seeing the Unseen World via 4D Dynamics-aware Generation
将稀疏单目 2D 帧重建为 4D 世界,在低秩表示上学习连续动态并施加物理约束,再重投影到任意时间与视角生成未见内容;这种 2D→4D→2D 框架可复用于视频外推、新视角生成与视频编辑等任务。
看见并修复缺陷:通过智能体数据合成让视觉语言模型与扩散模型理解视觉伪影
See and Fix the Flaws: Enabling VLMs and Diffusion Models to Comprehend Visual Artifacts via Agentic Data Synthesis
提出在扩散 Transformer 内做 patch 级嵌入操纵来可控注入伪影,并自动生成局部/全局解释,可直接用于构建伪影检测与修复模型的训练数据,也可作为评估生成图像真实性的诊断工具。
扩展零样本参考图到视频生成
Scaling Zero-Shot Reference-to-Video Generation
用掩码训练加定制注意力在纯视频-文本对上习得参考感知表征,绕开昂贵的参考图-视频-文本三元组标注,为身份保持视频生成提供了一条可扩展的零样本训练路径。
尺度空间扩散
Scale Space Diffusion
把扩散时间步与尺度空间低通滤波对应起来,用下采样作为广义线性退化,让高噪声阶段只在低分辨率上做去噪,可直接用于降低高分辨率扩散采样的计算量,并提供了一种按信息量分配网络深度的设计思路。
STARFlow-V:基于自回归归一化流的端到端视频生成建模
STARFlow-V: End-to-End Video Generative Modeling with Autoregressive Normalizing Flows
为视觉研究者提供了一条绕开扩散模型的视频生成路线:可逆归一化流在时空潜空间中做自回归因果预测,天然支持似然估计与 T2V/I2V/V2V 统一建模,其 flow-score matching 与视频感知 Jacobi 迭代可直接迁移到其他自回归视频生成器的误差累积与采样加速问题上。
STAGE:故事板锚定的电影级多镜头叙事生成
STAGE: Storyboard-Anchored Generation for Cinematic Multi-shot Narrative
提出以结构化故事板(每镜头的起止帧对)替代稀疏关键帧来锚定多镜头视频生成,并引入多镜头记忆包与双编码策略保证跨镜头实体一致性和镜头内连贯性,为可控叙事视频生成提供了可复用的条件控制与记忆机制。
SRA 2:面向高效扩散训练的变分自编码器自表征对齐
SRA 2: Variational Autoencoder Self-Representation Alignment for Efficient Diffusion Training
利用预训练 VAE 的重建特征作为内在监督信号,通过轻量投影层对齐扩散 Transformer 的中间潜变量,无需外部编码器即可加速训练收敛,为扩散模型训练提供了一种低成本的正则化手段。
SPDMark:面向鲁棒视频水印的选择性参数位移
SPDMark: Selective Parameter Displacement for Robust Video Watermarking
将水印嵌入视频扩散模型的生成过程,通过LoRA实现参数位移,并利用密钥派生帧级消息与二分图匹配恢复帧序,为生成视频的溯源与防篡改提供可复用方案。
面向扩散模型的奖励锐度感知微调
Reward Sharpness-Aware Fine-Tuning for Diffusion Models
针对扩散模型 RLHF 微调中的奖励攻击问题,提出用参数扰动与样本扰动构造平坦化奖励模型的梯度,无需重训奖励模型即可提升生成质量与奖励对齐的可靠性,可直接嵌入现有扩散强化学习流程。
奖励强制:基于奖励分布匹配蒸馏的高效流式视频生成
Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation
用 EMA 融合被逐出滑动窗口的 token 替代静态 sink token,解决少步蒸馏流式视频生成中初始帧复制、运动退化的问题;再用 VLM 打分构造奖励偏置的分布匹配蒸馏,把教师模型的运动动态蒸馏进学生模型,可直接迁移到任何流式/长视频扩散蒸馏管线。
复兴 ConvNeXt:面向高效卷积扩散模型
Reviving ConvNeXt for Efficient Convolutional Diffusion Models
把 ConvNeXt 式的纯卷积骨干网络移植到条件扩散模型中,在 ImageNet 256/512 条件生成上以 DiT-XL/2 一半的浮点运算量达到相当性能,且训练步数少 7 倍以上;对做视觉生成的人而言,这是一条可直接替换 Transformer 骨干、显著降低训练成本的架构路线。
重新审视统一多模态模型的视觉生成:面向高效纯图像预训练的掩码建模
Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training
把 UMM 的视觉生成部分拆成「纯图像掩码预训练 + 少量图文对指令对齐」两阶段,用 1000 H800 小时从零训出 3.6B 生成器,为视觉研究者提供了一个低成本复现统一多模态生成能力的训练配方。
重新思考位置嵌入:作为多参考与多镜头视频生成的上下文控制器
Rethinking Position Embedding as a Context Controller for Multi-Reference and Multi-Shot Video Generation
将位置编码作为额外的上下文控制信号,在语义检索之外实现 token 级精确匹配,可缓解多参考图像外观高度相似时的参考混淆问题,为多参考、多镜头视频生成中的角色一致性控制提供可复用思路。
重新审视字体生成中的字形空间信息
Rethinking Glyph Spatial Information in Font Generation
把字形中的「形状」与「位置」显式解耦,并在像素空间分两阶段(低分辨率风格迁移 + 高分辨率细节增强)建模,这一思路可迁移到任何需要保留结构空间先验的少样本生成任务,如手写体合成、场景文字编辑与布局可控生成。
解决文生图生成中的身份危机
Resolving the Identity Crisis in Text-to-Image Generation
用 GRPO 加组合式奖励(人脸相似度惩罚、跨样本身份重复惩罚、人数计数约束)微调 flow-matching 文生图模型,为多人物生成中的身份坍缩提供了一套无需真实数据的可复用后训练范式。
通过噪声对齐解决扩散桥中的端点欠拟合问题
Resolving Endpoint Underfitting in Diffusion Bridges via Noise Alignment
扩散桥模型中目标端点附近的欠拟合问题被揭示,并通过噪声对齐映射解决,可直接用于改进图像复原和翻译任务中的扩散桥训练。
残差解码器适配器:面向自回归文本渲染的ID保持分词器适配
Residual Decoder Adapter: ID-Preserving Tokenizer Adaption for Autoregressive Text Rendering
提出一种后置适配器,在不改变分词器词元空间和自回归模型的前提下,通过残差分支增强解码器输出,从而提升文本渲染质量;该思路可复用于其他需要提升分词器重建细节的生成任务。
ResDiT:激发扩散 Transformer 内在的分辨率可扩展性
ResDiT: Evoking the Intrinsic Resolution Scalability in Diffusion Transformers
对做 DiT 高分辨率生成的人,这篇给出了免训练的分辨率外推方案:修正位置编码在分辨率变化下的外推误差,并用基分辨率局部注意力做细节增强,可直接套用到 SD3/FLUX 类 DiT 的高分辨率推理与空间可控生成。
RenderFlow:基于流匹配的单步神经渲染
RenderFlow: Single-Step Neural Rendering via Flow Matching
用流匹配把扩散式神经渲染压成确定性单步前向,并给出稀疏关键帧引导与轻量 adapter 复用同一前向模型做逆渲染(本征分解),可直接迁移到任何需要低延迟、时序一致的生成式渲染或图像到图像回归任务。
面向隐私敏感身份识别的强化引导合成数据生成
Reinforcement-Guided Synthetic Data Generation for Privacy-Sensitive Identity Recognition
把通用域生成先验通过冷启动适配+多目标奖励(语义一致性/覆盖多样性/表情丰富度)迁移到隐私受限的身份识别域,并用动态样本筛选提升下游分类;这套「奖励引导生成+效用筛选」流程可直接复用到任何标注稀缺的视觉识别任务中做数据增广。
折射现实:生成含真实透明物体的图像
Refracting Reality: Generating Images with Realistic Transparent Objects
把斯涅尔折射定律作为像素级约束,在扩散采样轨迹的每一步对物体边界内外像素做 warp 与 merge,并用物体中心全景图补全不可见表面——这套「物理约束注入采样过程」的思路可迁移到任何需要几何/光学一致性的条件生成任务。
通过强化学习精炼少步文本到多视图扩散模型
Refining Few-Step Text-to-Multiview Diffusion via Reinforcement Learning
把少步 T2MV 扩散的 RL 微调建模为联合多视图 MDP,并用自精炼采样构造优势信号、用拉格朗日对偶平衡单视图保真与跨视图一致性,可直接迁移到任何需要多输出协同一致性的少步扩散/流模型微调场景。
RecTok:沿整流流的重建蒸馏
RecTok: Reconstruction Distillation along Rectified Flow
把视觉基础模型的语义蒸馏进流匹配的前向流轨迹而非潜空间,使高维视觉分词器不再受维度-生成质量权衡限制,可直接替换扩散 Transformer 的 tokenizer 以提升重建与生成质量。
RebRL:以重平衡时间步信用强化离散视觉扩散模型
RebRL: Reinforcing Discrete Visual Diffusion Models with Rebalanced Timestep Credits
针对离散扩散(掩码生成)模型在 RL 微调时各时间步信用分配不均的问题,提出按掩码阶段重新平衡时间步权重的即插即用策略,可直接用于改进视觉生成模型的 RLHF/偏好对齐训练流程,并减少约 40% 训练步数。
面向不配对测试时分布外文本-图像到视频生成的推理扩散模型
Reasoning Diffusion for Unpaired Test Time Out-of-distribution Text-Image to Video Generation
ReasonDiff 利用多模态 LLM 为不配对文本-图像输入生成逐帧叙事,并通过 AlignFormer 的多阶段时序锚框注意力预测帧级潜变量,为视频扩散模型提供结构化引导,可复用于需要跨模态时序推理的视频生成任务。
Realiz3D:通过域感知学习实现照片级真实的3D生成
Realiz3D: 3D Generation Made Photorealistic via Domain-Aware Learning
通过引入协变量与小型残差适配器,将视觉域(真实/合成)从控制信号中解耦,使在合成渲染上微调的扩散生成器在施加几何、材质、视角控制时仍能输出照片级真实图像;其分层与去噪步角色分析可直接迁移到任何需要跨域控制迁移的扩散微调流程。
基于参考引导深度压缩变分自编码器的实时可流式说话人肖像视频生成
Real-Time Generation of Streamable Talking Portrait Video with Reference-Guided Deep Compression VAEs
因果视频 VAE 将可变数量的参考图像作为引导,把静态外观信息从潜变量中剥离,使网络专注动态信息,这一思路可直接迁移到任何需要深度潜空间压缩的流式视频生成任务;块级自回归的 Rectified Flow Transformer 也为实时长视频生成提供了可复用的采样架构。
ReHyAt:面向视频扩散 Transformer 的循环混合注意力
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
把 softmax 注意力的保真度与线性注意力的效率结合成 chunk 级循环形式,并给出从已有双向 softmax 视频扩散模型蒸馏到混合注意力的低成本配方,可直接用于把长视频生成模型扩展到线性复杂度。
RDF-MIG:一种用于掩码图像生成的鲁棒扩散框架,以增强语义分割和变化检测
RDF-MIG: A Robust Diffusion Framework for Masked Image Generation to Augment Semantic Segmentation and Change Detection
提出一种鲁棒的扩散框架,通过生成双时相变化标注和单时相分割标注的多光谱图像-掩码对来增强下游变化检测和语义分割任务;其MCRD损失和MSE一致性校准可缓解噪声累积问题,可复用于其他需要生成高质量图像-掩码对的视觉任务。
RAYNOVA:射线空间中的尺度-时序自回归世界建模
RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space
RAYNOVA 提出基于相对 Plücker 射线位置编码的各向同性时空表示,结合双因果自回归框架统一处理尺度与时间拓扑顺序,为多视角视频生成提供了一种无需显式 3D 几何先验的通用方法,可启发视觉研究者设计更鲁棒的世界模型。
PyramidalWan:让预训练视频模型金字塔化以实现高效推理
PyramidalWan: On Making Pretrained Video Model Pyramidal for Efficient Inference
把已预训练的视频扩散模型通过低成本微调改造成金字塔式多分辨率去噪结构,可直接复用于任何多步扩散采样器以降低推理算力;其金字塔内步数蒸馏策略对比也为少步视频生成提供可借鉴的加速路线。
PyraTok:面向视频理解与生成的语言对齐金字塔分词器
PyraTok: Language-Aligned Pyramidal Tokenizer for Video Understanding and Generation
PyraTok 把视频 VAE 的编码器特征在多个深度上用共享大码本做二值量化,并联合多尺度文本引导量化与自回归目标训练,可直接替换现有视频生成/理解管线中的离散分词器,提升跨模态对齐与零样本下游迁移。
属性引导的扩散式文本到微结构生成
Property-Informed Diffusion-Based Text-to-Microstructure Generation
把文本中的语义与物理属性作为联合条件注入扩散模型,并用对比对齐加测试时奖励引导保证生成结果与提示一致,这套「属性条件 + 双重对齐」思路可直接迁移到视觉中的条件生成与可控合成任务。
PromptEnhancer:通过细粒度奖励优化重写器以提升文本到图像生成
PromptEnhancer: Taming Your Rewriter for Text-to-Image Generation via Fine-Grained Reward
提出可插拔的提示词重写框架,通过监督微调与基于细粒度奖励模型的强化学习优化重写器,可提升任意预训练T2I模型对复杂提示词的遵循能力,为改善文生图对齐提供通用后处理方案。
自我提示:唤醒一维视觉分词器中的文本语义
Prompt Yourself: Awakening Textual Semantics in 1D Visual Tokenizers
提出一种自提示训练范式,在训练时同时生成视觉与文本词元并对齐到预训练语言模型,从而将语言语义注入1D视觉分词器,提升细粒度图像编码能力;该思路可复用于改进其他视觉分词器或生成模型的表征质量。
ProjFlow:基于流匹配的投影采样实现零样本精确空间运动控制
ProjFlow: Projection Sampling with Flow Matching for Zero-Shot Exact Spatial Motion Control
把线性空间约束下的采样建模为线性逆问题,并用编码骨架拓扑的运动学感知度量做投影,这一免训练采样器思路可迁移到视觉中的轨迹/关键点/姿态等结构化输出的可控生成与补全。
分块推进:面向自回归图像生成的测试时扩展
Progress by Pieces: Test-Time Scaling for Autoregressive Image Generation
把 LLM 的 test-time scaling 思路迁移到视觉自回归模型:用网格分区的渐进式生成 + 早期剪枝 + 锚点固定,替代 Best-of-N 的全长浪费计算,可直接用于提升任意栅格扫描式 AR 图像生成器的采样质量与成本比。
ProcessMaker:基于扩散 Transformer 的自适应序列步骤通用过程可视化框架
ProcessMaker: A Generalized Process Visualization Framework with Adaptive Sequence Steps on Diffusion Transformers
把 DiT 的泛化能力用于多步过程序列生成,用自监督表征对齐替代多专家网络、用稀疏掩码做域区分、用滑动窗口动态决定生成步数,这套「单模型多域+自适应步数」思路可迁移到需要变长生成轨迹的视觉生成任务。
基于整流流 Transformer 的概率性降水临近预报
Probabilistic Precipitation Nowcasting with Rectified Flow Transformers
把 rectified flow transformer 用在潜空间视频预测上,并用逐帧编码器加统一解码器保证时序一致性;这套「保留不确定性的第一阶段压缩 + 潜空间流匹配生成」可以直接迁移到视频预测、时空序列生成等视觉任务,测试时扩展带来的增益也值得在视觉生成里复现验证。
ProPhy:面向动态世界模拟的渐进式物理对齐
ProPhy: Progressive Physical Alignment for Dynamic World Simulation
将视觉语言模型的物理推理能力通过渐进式对齐迁移到视频生成模型中,并利用混合物理专家机制实现细粒度物理条件控制,为物理一致的视频生成提供了可复用的技术路径。
PosterReward:为高质量平面设计生成解锁准确评估
PosterReward: Unlocking Accurate Evaluation for High-Quality Graphic Design Generation
为文生图模型提供针对海报设计的细粒度奖励信号,可用于生成后筛选或作为强化学习/偏好优化(如 RLHF、DPO)的奖励函数,弥补现有美学奖励模型忽略排版与文字准确性的缺陷。
PoseAnything:具有部件感知时序一致性的通用姿态引导视频生成
PoseAnything: General Pose-guided Video Generation with Part-aware Temporal Coherence
把任意骨架(含非人类角色)作为运动条件注入视频扩散模型,并用部件级跨帧交叉注意力维持细粒度一致性;其解耦主体/相机运动的 CFG 正负锚点注入方式可直接迁移到其他可控视频生成任务中实现独立相机控制。
全光视频生成
Plenoptic Video Generation
把「多进单出」的视频条件模型以自回归方式串起来,并用相机引导的视频检索从历史生成中挑显著帧做条件,这套「时空记忆+检索式条件」可直接迁移到任何需要跨视角/跨时序一致性的生成式重渲染或长视频生成任务。
PixelRush:基于单步扩散的超快速免训练高分辨率图像生成
PixelRush: Ultra-Fast, Training-Free High-Resolution Image Generation via One-step Diffusion
把高分辨率文生图从「多轮反演+重生成」改成低步数下的图像块并行去噪,配合无缝融合与噪声注入抑制块间伪影和过平滑,可直接复用到任何预训练扩散模型的分辨率外推场景。
PixelDiT:用于图像生成的像素扩散 Transformer
PixelDiT: Pixel Diffusion Transformers for Image Generation
去掉预训练自编码器、直接在像素空间做扩散,并用 patch 级 + pixel 级双层级 DiT 兼顾全局语义与纹理细节,为做图像生成的人提供了一条避免有损重建与误差累积的单阶段端到端路线,可直接迁移到高分辨率文生图训练。
物理仿真器在环的视频生成
Physical Simulator In-the-Loop Video Generation
将物理仿真器嵌入视频扩散采样回路,用仿真轨迹约束生成时空运动,并用测试时纹理一致性优化(TTCO)基于像素对应调整文本与特征嵌入,为提升生成视频的物理合理性提供了可复用范式。
以物理可控世界模型理解物理对象
Physical Object Understanding with a Physically Controllable World Model
把视频世界模型当作可查询的概率推断器:通过对未来状态采样并分析运动相关性来无监督地分割出物体及其可动部件,为视觉研究者提供了一条不依赖标注的物体发现与3D操控思路。
PhysVid:面向生成式视频模型的物理感知局部条件控制
PhysVid: Physics Aware Local Conditioning for Generative Video Models
把物理约束从全局文本提示词下沉到时间连续帧块级的局部条件,并用块感知交叉注意力融合、推理时用负向物理提示词引导采样,这套「局部条件+负向提示」机制可直接迁移到任何以文本为条件的视频扩散模型上提升物理合理性。
PhyOceanCast:基于物理信息扩散模型的全球海洋预报
PhyOceanCast: Global Ocean Forecasting with Physics-Informed Diffusion
将扩散模型与球面图注意力、小波时序模块结合,用于全球海洋多变量时空预测,其物理约束和球面拓扑保持思路可迁移到其他地球科学或视频预测任务。
PhyCo:学习可控物理先验用于生成式运动
PhyCo: Learning Controllable Physical Priors for Generative Motion
用像素对齐的物理属性图(摩擦、弹性、形变、力)作为 ControlNet 条件,把物理参数变成视频扩散模型的可控输入;再用微调后的 VLM 对生成视频做物理问答式打分作为可微奖励,这套「属性图条件 + VLM 奖励」范式可直接迁移到其他需要物理可信度的视频生成任务。
分阶段 DMD:基于子区间内分数匹配的少步分布匹配蒸馏
Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals
把 SNR 区间切分并逐段做分布匹配与分数匹配蒸馏,配合 MoE 提升少步生成器容量,可直接用于把大规模文生图/文生视频扩散模型压缩成少步采样器,同时缓解随机梯度截断带来的多样性下降与运动动态变慢问题。
带隐私保证的扩散模型个性化联邦训练
Personalized Federated Training of Diffusion Models with Privacy Guarantees
为在去中心化私有数据上训练扩散模型提供了带逐客户端差分隐私保证的联邦个性化方案,可直接迁移到视觉场景中多源私有图像(如医疗、人脸)的协同生成建模,并给出了条件生成在 GMM 下的效用界作为分析工具。
PersonaLive!面向直播的富有表现力肖像图像动画
PersonaLive! Expressive Portrait Image Animation for Live Streaming
面向实时流媒体场景,用少步外观蒸馏压缩去噪步数、用自回归微块流式生成加滑动训练与历史关键帧机制保证长时稳定,这套「蒸馏提速 + 分块流式」组合可直接迁移到其他需要低延迟长视频生成的扩散模型上。
ParaUni:以强化学习驱动的层级并行信息交互增强统一多模态模型的生成能力
ParaUni: Enhance Generation in Unified Multimodal Model with Reinforcement-driven Hierarchical Parallel Information Interaction
把 VLM 各层特征并行抽取后经 Layer Integration Module 融合,作为扩散生成的条件信号,并用 RL 的层级动态调整机制对不同层施加不同奖励;做 VLM-conditioned 生成或想把多层语义注入扩散骨干的工作可直接复用这套并行条件注入与分层奖励设计。
ParTY:面向富有表现力文本到动作合成的部位引导
ParTY: Part-Guidance for Expressive Text-to-Motion Synthesis
其「先分部位生成、再以部位引导整体生成」的两阶段思路与部位感知的文本嵌入对齐,可迁移到细粒度可控的人体动作/姿态生成与部位级文本定位任务。
Paper2Figure:面向学术论文图表生成的多智能体协作系统
Paper2Figure: A Multi-Agent Collaborative System for Figure Generation Towards Academic Research Paper
把「图」表示为可编辑的中间脚本语言(FigScript),再由渲染器出图、由多智能体迭代修订——这套「脚本中间表示 + 渲染 + 反思式修订」的范式可直接迁移到视觉领域的示意图/流程图/架构图生成与可控编辑,也提示了用结构化中间表示替代像素级扩散生成来获得可编辑性的思路。
Pantheon360:通过3D感知360度视频扩散驯服数字孪生生成
Pantheon360: Taming Digital Twin Generation via 3D-Aware 360deg Video Diffusion
利用360度全景视频生成和显式3D缓存作为几何脚手架,实现可控相机路径下的高保真、几何一致的场景生成,为数字孪生和仿真提供新思路。
PaCo-RL:以成对奖励建模推进一致性图像生成的强化学习
PaCo-RL: Advancing Reinforcement Learning for Consistent Image Generation with Pairwise Reward Modeling
把成对一致性奖励模型与 GRPO 结合,用无标注数据对生成模型做 RL 微调,并给出分辨率解耦的优化策略来降低 RL 训练成本;做多图一致性生成或想把主观视觉偏好转成奖励信号的工作可直接复用这套奖励建模与多奖励聚合思路。
POLAR:面向光照感知人脸建模的肖像 OLAT 数据集与生成框架
POLAR: A Portrait OLAT Dataset and Generative Framework for Illumination-Aware Face Modeling
用 flow-based 生成模型从单张肖像预测逐光源 OLAT 响应,把光照建模为光照状态间的连续可解释变换,为可控重打光提供了不依赖扩散先验、物理可解释的替代范式,其 OLAT 数据与生成框架的闭环思路也可迁移到其他逆渲染任务。
PHANTOM:联合建模视觉与潜物理动力学的物理注入式视频生成
PHANTOM: Physics-Infused Video Generation via Joint Modeling of Visual and Latent Physical Dynamics
把物理状态的潜变量推断直接嵌入视频生成的条件路径,为做视频生成的人提供了一种无需显式物理参数、可端到端训练的物理一致性约束方式,可直接迁移到世界模型与可控视频预测任务。
PC-Talk:音频驱动说话人脸生成的精确面部动画控制
PC-Talk: Precise Facial Animation Control for Audio-Driven Talking Face Generation
通过隐式关键点变形实现唇音对齐与情感解耦控制,为音频驱动人脸生成提供可复用的精细控制手段,支持说话风格编辑与情感强度/混合调控。
PAVAS:物理感知的视频到音频合成
PAVAS: Physics-Aware Video-to-Audio Synthesis
把 VLM 估计的物体质量与基于分割的动态三维重建得到的运动轨迹作为物理条件注入潜变量扩散,为视觉研究者提供了一条「从视频中显式提取物理量再驱动跨模态生成」的可复用管线,也给出了用 APCC 衡量生成结果物理一致性的评测思路。
PAMotion:面向多物体全身交互的物理感知动作生成
PAMotion: Physics-Aware Motion Generation for Full-Body Interaction with Multiple Objects
把「物体加速度与接触状态的一致性」做成可微的物理感知损失,并采用由粗到细的分阶段条件生成(先躯干与物体平移、再手部与物体旋转),这套思路可直接迁移到任何需要物理合理性的扩散式人体/物体联合运动生成任务。
PAM:面向仿真到现实手物交互视频生成的姿态-外观-运动引擎
PAM: A Pose-Appearance-Motion Engine for Sim-to-Real HOI Video Generation
把手物交互的位姿、外观、运动统一进一个可控视频生成引擎,并用生成视频作为合成数据反哺下游手部姿态估计,为视觉研究者提供了「生成即数据增强」的闭环范式,以及深度/分割/关键点多条件输入的具体消融结论。
基于结构与接触感知表征的开放世界手物交互视频生成
Open-world Hand-Object Interaction Video Generation Based on Structure and Contact-aware Representation
提出一种无需3D标注的结构与接触感知表征(手物接触、遮挡、整体结构上下文),可作为辅助监督信号嵌入视频生成模型,并用共享-特化联合生成范式同时生成表征与视频;对做可控/物理真实视频生成的人,这是一个可复用的表征监督与联合训练思路。
打开动作之门:面向开放词表动作生成的原子动作分解与重组
Open the Motion Door: Atomic Motion Decomposition and Recomposition for Open-Vocabulary Motion Generation
把开放词表文本拆成可复用的原子动作单元再重组,这一「分解-重组」思路可直接迁移到开放词表视频生成、组合式动作合成与长时序动作拼接,缓解域外文本泛化差的问题。
OntoAug:以本体引导重新审视生成式数据增强
OntoAug: Rethinking Generative Data Augmentation via Ontology Guidance
把前景掩码与多样化背景提示注入扩散采样过程,实现主体一致、上下文多样的可控合成数据;这套「结构化布局控制 + 提示解耦」思路可直接迁移到任何需要扩充训练集的识别任务,并可作为 WSOL 与 LVLM 推理的增强手段。
OneStory:基于自适应记忆的连贯多镜头视频生成
OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory
将多镜头视频生成重构为逐镜头自回归的下一镜头生成任务,并复用预训练 I2V 模型;其帧选择构建全局记忆与重要性引导的 patch 化压缩上下文,可直接迁移到长视频生成、故事化叙事以及任何需要跨片段长程一致性的条件生成任务。
一对多:基于注意力控制的高保真免训练异常生成
One-to-More: High-Fidelity Training-Free Anomaly Generation with Attention Control
提出基于自注意力嫁接的免训练少样本异常生成方法,通过操纵三个并行扩散过程并引入异常掩码与双注意力增强,为视觉中数据稀缺场景的生成式数据增强提供了可复用的注意力控制思路。
One-to-All Animation:免对齐的角色动画与图像姿态迁移
One-to-All Animation: Alignment-Free Character Animation and Image Pose Transfer
把参考图与目标姿态的空间错位问题重构成自监督外绘任务,并用混合参考融合注意力处理变分辨率与动态序列长度,这套思路可直接迁移到任意参考布局下的可控视频生成与身份保持任务。
一个模型,多种预算:面向扩散 Transformer 的弹性潜变量接口
One Model, Many Budgets: Elastic Latent Interfaces for Diffusion Transformers
把 DiT 的计算量与输入分辨率解耦:用可学习、可变长的潜变量序列作为中间接口,配合轻量 Read/Write 交叉注意力在空间词元与潜变量之间搬运信息,并通过随机丢弃尾部潜变量训练出重要性有序的表示,推理时按算力预算截断潜变量数量即可实现连续的延迟-质量权衡。做高分辨率生成或需要在固定算力下部署扩散模型的工作可直接把该模块插进现有 DiT/U-ViT/MM-DiT 主干。
一个算法对齐所有:基于 Rectified Flow 的结构对齐联合推理
One Algorithm to Align Them All
提出基于 Rectified Flow 的联合传输方法,可在任意结构化潜变量空间上实现成对样本的结构对齐生成,替代 SDS 用于 3D 生成时速度提升数量级,为图像/视频/3D 的配对生成提供可复用框架。
OmniSonic:面向视频与文本的通用整体音频生成
OmniSonic: Towards Universal and Holistic Audio Generation from Video and Text
TriAttn-DiT 用三路交叉注意力分别处理屏内环境声、屏外环境声与语音条件,并以 MoE 门控自适应加权,这种「多条件分支 + 门控融合」的结构可直接迁移到视频到音频、视频到音乐等多模态条件生成任务中;UniHAGen-Bench 也提供了评估视频条件音频生成的评测协议。
OmniLottie:通过参数化 Lottie 分词器生成矢量动画
OmniLottie: Generating Vector Animations via Parameterized Lottie Tokens
将 Lottie 矢量动画参数化为函数调用序列,并借助预训练视觉语言模型以多模态指令(文本、图像、视频)为条件进行生成,为矢量图形与动画生成提供了可复用的表示与训练范式。
OmniDocLayout:面向多样化文档版面生成的由粗到细大语言模型学习
OmniDocLayout: Towards Diverse Document Layout Generation via Coarse-to-Fine LLM Learning
把版面元素序列当作语言建模对象,用两阶段粗到细的 LLM 学习从通用版面先验迁移到特定文档域,这种「大规模合成数据预训练 + 少量细粒度样本域迁移」的范式可直接迁移到视觉生成中的结构化布局控制(如海报、图文混排、UI 生成)。
Omni2Sound:迈向统一的视频-文本到音频生成
Omni2Sound: Towards Unified Video-Text-to-Audio Generation
提出三阶段多任务渐进训练调度,将视频到音频与文本到音频的跨任务竞争转化为联合优化,并缓解VT2A任务中的模态偏置;该调度策略可迁移到其他多模态条件扩散生成任务(如视频配音、音效生成)中平衡异构条件。
全监督运动编辑:通过正负学习平衡变化与不变性
Omni-Supervised Motion Editing: Balancing Change and Invariance through Positive-Negative Learning
论文提出的正负学习统一监督范式(回顾式特征监督 + 基于源-目标相似度的运动保持 + 三元组语义对齐)可直接迁移到图像/视频编辑扩散模型中,用于缓解编辑时目标区域改动不足与未编辑区域被破坏之间的权衡。
OctoT2I:一种自进化的智能体文本到图像路由器
OctoT2I: A Self-Evolving Agentic Text-to-Image Router
提出一种无需人工标注的自进化路由框架,通过PSEL循环自动发现各T2I模型的能力边界,实现质量与效率的联合优化;其知识库构建和路由策略可复用于多模型集成、模型选择等视觉生成任务。
OSPO:面向文本到图像生成的以物体为中心的自改进偏好优化
OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation
把偏好优化从整图级细化到物体级:用注意力图导出物体掩码,构造物体级偏好对并施加物体加权 SimPO 损失,可直接迁移到任何统一多模态理解-生成模型的细粒度对齐后训练中。
ORV:以4D占用为中心的机器人视频生成
ORV: 4D Occupancy-centric Robot Video Generation
把4D语义占用的2D渲染作为软引导注入视频扩散生成,并用Action-Expert AdaLN把分块7-DoF动作对齐到视频潜空间,为动作条件视频生成提供了一种「稀疏控制—稠密像素」之间的中间表示桥梁,可直接复用到机器人数据引擎与策略学习的合成数据生成。
面向文本到动作生成的下一尺度自回归模型
Next-Scale Autoregressive Models for Text-to-Motion Generation
把「下一 token 预测」换成「下一尺度预测」的由粗到细自回归框架,可直接迁移到视频/长时序视觉生成中,用跨尺度层级精修与尺度内双向重预测缓解长程结构建模与数据稀缺问题。
NeuroFlow:迈向神经活动驱动的统一视觉编码与解码
NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity
将视觉编码与解码统一为共享潜空间中的可逆流匹配过程,为视觉-神经跨模态生成提供新范式;其跨模态流匹配(XFM)可复用于图像与脑信号间的双向转换,NeuroVAE 的结构化潜空间设计对视觉表征学习有借鉴意义。
Neighbor GRPO:对比式常微分方程策略优化对齐流模型
Neighbor GRPO: Contrastive ODE Policy Optimization Aligns Flow Models
对做扩散/流匹配模型偏好对齐的人,这篇给出了绕开 SDE 的 GRPO 方案:直接扰动 ODE 初始噪声构造候选轨迹,用基于距离的 softmax 代理目标做策略梯度,从而保留确定性采样与高阶求解器的少步采样优势,可直接替换现有 SDE-GRPO 训练流程。
面向过离散潜变量建模的负二项变分自编码器
Negative Binomial Variational Autoencoders for Overdispersed Latent Modeling
为VAE类生成模型提供了一种带离散计数潜变量的替代方案:用负二项分布刻画过离散的脉冲式潜变量,并给出可用的KL估计与重参数化技巧,可直接替换Poisson VAE的等均值-方差假设,用于需要稀疏、离散潜表征的视觉重建与生成任务。
NS-Diff:流体纳维-斯托克斯引导的强化学习视频扩散
NS-Diff: Fluid Navier-Stokes Guided Video Diffusion via Reinforcement Learning
把简化的 Navier-Stokes 约束与最小加加速度原理写成可微/策略梯度的奖励,用来微调视频扩散模型,为「生成结果要符合物理」这类需求提供了可复用的 RL 后训练范式;其噪声鲁棒的运动区域检测与物理条件潜变量注入也可直接迁移到其他条件视频生成任务。
NAMI:通过桥接渐进式整流流 Transformer 实现高效图像生成
NAMI: Efficient Image Generation via Bridged Progressive Rectified Flow Transformers
NAMI 通过按分辨率分段使用不同层数的 DiT 并用 BridgeFlow 模块对齐各阶段流,在 1024×1024 生成上减少 64% 推理时间,为视觉生成模型提供了一种可复用的高效多分辨率训练与推理范式。
MusicInfuser:让视频扩散模型听懂音乐并起舞
MusicInfuser: Making Video Diffusion Listen and Dance
提出基于引导式构造影响函数的逐层可适配性准则,可在单卡一天内把预训练文生视频扩散模型对齐到音乐条件,为视觉研究者提供一种低成本、保留先验的扩散模型新条件模态适配范式。
MultiShotMaster:可控多镜头视频生成框架
MultiShotMaster: A Controllable Multi-Shot Video Generation Framework
通过改进RoPE实现多镜头视频的灵活编排与跨镜头一致性,为视频生成中的镜头控制与参考注入提供了可复用的位置编码方案。
MultiAnimate:可扩展的姿态引导图像动画
MultiAnimate: Pose-Guided Image Animation Made Extensible
基于 DiT 视频生成框架,用掩码驱动的 Identifier Assigner/Adapter 注入逐人位置线索与人物间空间关系,可复用于任何需要多实例身份解耦的可控视频生成任务。
多层次因果大语言模型驱动的文本到动作生成与人类对齐
Multi-level Causal LLM-based Text-to-Motion Generation with Human Alignment
把动作序列当作离散词元、用因果 RVQ-VAE 加时间滞后因果预测来做多层级并行生成,这套「离散词元 + 因果 LLM + 偏好对齐」的组合可直接迁移到视频/动作序列的生成式建模;同时发布的 HumanML3D-R 偏好数据集为动作生成提供了可复用的对齐评测资源。
面向高效流匹配与扩散模型的多 patch 全局到局部 Transformer 架构
Multi-Patch Global-to-Local Transformer Architecture For Efficient Flow Matching and Diffusion Model
把 DiT 各向同性的等尺寸 patch 处理改为「浅层大 patch 抓全局、深层小 patch 修细节」的层次化多 patch 设计,可直接迁移到任何基于 Transformer 主干的扩散/流匹配生成器中,在 GFLOPs 减半的同时保持生成质量;其时间/类别嵌入改进也可作为加速收敛的通用技巧复用。
MotionHiFlow:基于层次化流匹配的文本驱动运动生成
MotionHiFlow: Text-to-Motion via Hierarchical Flow Matching
把流匹配的采样路径按时间尺度分层(低尺度定语义骨架、高尺度补细节),并用跨尺度过渡保持噪声一致性,这一「由粗到细的层次化流路径」思路可直接迁移到视频生成、长时序动作合成等需要兼顾语义对齐与细粒度时序一致性的视觉生成任务。
MoReGen:面向基于代码的文本到视频合成的多智能体运动推理引擎
MoReGen: Multi-Agent Motion-Reasoning Engine for Code-based Text-to-Video Synthesis
把物理仿真器与渲染器接入多智能体LLM流水线,在代码域生成可复现视频,并用物体轨迹对应作为直接评测指标;对做视频生成的人,这提供了一条绕开像素级扩散、直接保证牛顿运动一致性的可复用路线与配套基准。
MoLingo:面向文本到人体动作生成的动作-语言对齐
MoLingo: Motion-Language Alignment for Text-to-Human Motion Generation
提出用帧级文本标签训练语义对齐的运动编码器,使潜空间更利于扩散;并验证多token交叉注意力注入文本条件优于单token,可迁移到其他条件生成任务(如文本到图像/视频)的潜空间设计与条件注入。
MoCoDiff:面向富有表现力动作生成的可控自回归扩散模型
MoCoDiff: A Controllable Autoregressive Diffusion Model for Expressive Motion Generation
把语义、风格、历史三类条件拆成独立的轻量线性调制通路(IMC/TIMC),避免融合条件互相干扰,这一思路可直接迁移到视频生成、人体动作/手势动画等需要长时序一致性与多条件可控的扩散生成任务。
状态混合:面向多模态生成的路由式 token 级动态
Mixture of States: Routing Token-Level Dynamics for Multimodal Generation
把跨模态融合从固定结构改为 token 级、随去噪时间步变化的可学习稀疏路由,可直接迁移到任何多模态扩散骨干(如 DiT)中替换固定的 cross-attention 融合层,在几乎不增加参数与算力的情况下提升文生图/编辑质量。
MixFlow 训练:以减速插值混合缓解暴露偏差
MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture
针对扩散模型训练-测试不一致(暴露偏差)问题,提出用「减速时间步」上的真实插值混合来后训练预测网络,可直接套用到 SiT、REPA、RAE 等扩散/流匹配骨干上,在 ImageNet 256/512 上把 FID 压到 1.1 左右,是提升现有生成模型采样质量的即插即用后训练手段。
Mirai:自回归视觉生成需要前瞻
Mirai: Autoregressive Visual Generation Needs Foresight
把「未来词元」的监督信号(显式多步未来表征或匹配的双向表征)注入自回归训练,无需改架构、无额外推理开销,可直接套用到 LlamaGen、VAR 类图像生成模型的训练流程中以加速收敛并降低 FID。
关注生成细节:面向视频扩散模型的直接局部细节偏好优化
Mind the Generative Details: Direct Localized Detail Preference Optimization for Video Diffusion Models
提出一种基于局部时空区域构造偏好对的后训练对齐方法,仅需单次推理即可生成偏好数据,无需外部评价模型,可复用于视频扩散模型的人类偏好对齐,提升生成保真度和时序一致性。
基于表征自编码器的 MeanFlow Transformer
MeanFlow Transformers with Representation Autoencoders
将 MeanFlow 的潜空间训练迁移到 DINO 等预训练视觉编码器的表征自编码器潜空间,并给出稳定训练的两阶段蒸馏方案,为视觉生成模型提供更高效、无需引导的少步采样路径。
MaxMark:通过鲁棒可逆潜变量嵌入实现高容量扩散原生水印
MaxMark: High-Capacity Diffusion-Native Watermarking via Robust and Invertible Latent Embedding
对做扩散模型溯源与版权保护的研究者,这篇给出了在潜噪声上做高容量嵌入并用可逆网络把带水印潜变量映射回近似高斯的做法,可直接复用到 LDM 生成图像的隐写与来源追踪流程中。
MatchMask:面向标签稀缺语义分割的以掩码为中心的生成式数据增强
MatchMask: Mask-Centric Generative Data Augmentation for Label-Scarce Semantic Segmentation
提出梯度探针方法分析扩散模型各层作用,并设计轻量LoRA风格适配器与层自适应交叉注意力融合,实现少样本语义图像合成,可直接用于标签稀缺下的分割数据增强。
MatPedia:面向高保真材质合成的通用生成式基础模型
MatPedia: A Universal Generative Foundation for High-Fidelity Material Synthesis
把 RGB 外观与四张 PBR 贴图拼成 5 通道序列、直接复用视频扩散骨干来建模跨通道相关性,这一「多通道序列化 + 视频先验迁移」的做法可迁移到任何需要同时生成多张相关图像的任务(如 albedo/normal/depth 联合预测、多光照分解)。
MatLat:面向 PBR 纹理生成的材质潜空间
MatLat: Material Latent Space for PBR Texture Generation
把预训练潜空间图像扩散模型迁移到多通道 PBR 材质生成时,关键是在 VAE 微调阶段保持潜变量分布与像素-潜变量空间对应关系;其「裁剪潜块解码并对齐图像区域」的正则化思路可直接复用于任何需要扩展通道数或保持潜空间局部性的生成任务。
MatE:基于几何先验的单图像材质提取
MatE: Material Extraction from Single-Image via Geometric Prior
用估计深度图作为几何先验做粗矫正,再用双分支扩散模型把单张图转成可平铺的PBR材质贴图集(albedo/normal/roughness/height),其旋转与尺度对齐训练数据带来的等变性思路可迁移到其他需要消除透视与光照干扰的逆渲染任务。
面向大规模分层图像生成与编辑的掩码区域 Transformer
Masked Region Transformer for Layered Image Generation and Editing at Scale
把「选择性词元掩码」作为统一接口,让 text-to-layers、image-to-layers、layers-to-layers 共享同一个扩散框架,可直接迁移到需要分层/可编辑输出的生成任务;overflow-aware canvas layer 处理超出画布边界的图层与半透明背景合成,是分层生成中值得复用的表示技巧。
掩码自回归变分加速:快速推理使强化学习变得实用
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
把 MAR 的「外层自回归解掩码 + 内层扩散去噪链」两级推理蒸馏成单步生成,并用基于分数的变分目标保住样本质量;做少步扩散/自回归生成或想把 RL 后训练接到生成模型上的人可直接复用该蒸馏目标与 MARVAL-RL 流程。
MaskFocus:将策略优化聚焦于掩码图像生成的关键步骤
MaskFocus: Focusing Policy Optimization on Critical Steps for Masked Image Generation
对做掩码生成模型(MaskGIT 类)的研究者,这篇给出了把 RL 后训练落到多步迭代采样上的可行路径:用中间图像与最终图像的相似度定位关键步、只在这些步上算似然做策略优化,并用熵驱动的动态路由采样提升掩码策略探索,可直接迁移到其他迭代式生成器的后训练。
马尔可夫尺度预测:视觉自回归生成的新时代
Markovian Scale Prediction: A New Era of Visual Autoregressive Generation
将VAR的全上下文依赖重构为马尔可夫过程,用滑动窗口压缩历史尺度为紧凑向量,在保持生成质量的同时大幅降低显存和计算开销,为视觉自回归生成提供了更可扩展的框架。
MapReduce LoRA:推进生成模型多偏好优化的帕累托前沿
MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models
MapReduce LoRA 用并行训练偏好专属 LoRA 专家再迭代合并进共享基座,RaTE 用奖励专属词元嵌入在推理时组合,为文生图/文生视频模型提供可复用的多奖励对齐与推理时偏好切换手段。
ManifoldGD:面向扩散式数据集蒸馏的免训练层次流形引导
ManifoldGD: Training-Free Hierarchical Manifold Guidance for Diffusion-Based Dataset Distillation
把每个去噪步的引导向量投影到由 IPC 质心邻域估计的局部切空间上,是一种可复用的免训练采样约束手段,可直接迁移到任何需要保持语义一致性的扩散引导或条件生成流程中。
MakeAnything:利用扩散 Transformer 进行多领域过程序列生成
MakeAnything: Harnessing Diffusion Transformers for Multi-Domain Procedural Sequence Generation
提出非对称 LoRA 微调策略(冻结编码器、自适应调整解码器)以平衡泛化与任务性能,可复用于其他基于 DiT 的生成任务;同时利用时空一致性约束实现从静态图像生成过程序列,为视觉生成中的时序建模提供思路。
MagicFuse:用于视觉与语义增强的单图像融合
MagicFuse: Single Image Fusion for Visual and Semantic Reinforcement
利用扩散模型从单张退化可见光图像生成跨光谱场景表示,通过融合两个扩散分支的噪声实现知识级融合,为单模态输入下的多模态融合提供了新思路。
MacTok:面向图像生成的鲁棒连续分词器
MacTok: Robust Continuous Tokenization for Image Generation
MacTok 通过随机掩码和 DINO 引导的语义掩码来正则化潜变量学习,结合全局与局部表征对齐,防止少词元下的后验坍塌,为视觉生成提供了一种高效的一维连续分词方案,可直接用于扩散模型的前端压缩。
MV2UV:利用多视图提示生成高质量 UV 纹理贴图
MV2UV: Generating High-quality UV Texture Maps with Multiview Prompts
把多视图生成的 2D 扩散先验与 UV 空间修复结合,用 UV 空间生成模型同时补全多视图未见区域并消解视图间不一致,为三维资产纹理生成提供了可复用的「多视图提示 + UV 精修」范式。
MMCP-GEN:面向条件蛋白质序列生成的模态可扩展扩散语言模型
MMCP-GEN: A Modality-Extensible Diffusion Language Model for Conditional Protein Sequence Generation
其「可学习查询 + 模态指示头」的可组合条件机制,可迁移到视觉扩散模型的多条件控制(如同时以深度、分割、文本为条件),实现新增条件时无需重训主干;生成-打分联合目标也可借鉴用于序列与结构一致性的对齐。
M4V:面向高效文本到视频生成的多模态 Mamba
M4V: Multimodal Mamba for Efficient Text-to-Video Generation
用双向词元重排加视觉寄存器把 Mamba 的线性复杂度序列建模接入扩散式文生视频主干,在 768x1280 分辨率下比注意力方案省 45% 浮点运算量,可作为高分辨率视频生成中替代全局注意力的可复用模块。
LumiX:结构化且连贯的文本到本征图生成
LumiX: Structured and Coherent Text-to-Intrinsic Generation
Query-Broadcast Attention 让所有本征图共享同一组 query,从而在联合扩散采样中保持跨图结构一致;Tensor LoRA 用张量化低秩适配建模跨图关系,可作为多输出联合生成任务中参数高效训练与一致性的通用手段。
LottieGPT:面向自回归生成的矢量动画词元化
LottieGPT: Tokenizing Vector Animation for Autoregressive Generation
将矢量动画(Lottie JSON)通过定制分词器编码为紧凑词元序列,并微调 Qwen-VL 实现自回归生成,为视觉生成提供了一种超越栅格空间、直接输出可编辑结构化数据的新范式。
LogCD:面向少步图像生成的局部到全局一致性蒸馏
LogCD: Local-to-global Consistency Distillation for Few-step Image Generation
两阶段局部到全局一致性蒸馏把 SDXL 这类潜扩散/整流流模型压到 2–4 步采样,且单模型可在步数间无缝切换,可直接复用到任何需要少步高保真生成的视觉管线(如实时文生图、编辑前置生成器)。
LoL:比更长更长,将视频生成扩展至小时级
LoL: Longer than Longer, Scaling Video Generation to Hour
针对自回归长视频生成中注意力汇聚帧导致的场景重置问题,提出多头 RoPE 抖动这一免训练手段,打破头间注意力同质化;做流式/无限长视频生成或复用 RoPE 的位置编码方案时可直接借鉴。
LoFA:学习预测个性化先验以实现视觉生成模型的快速适配
LoFA: Learning to Predict Personalized Prior for Fast Adaptation of Visual Generative Models
把 LoRA 微调从「逐任务优化数小时」变成「超网络秒级预测」,视觉生成模型做个性化时可直接复用其两阶段超网络(先预测相对分布模式、再回归 LoRA 权重)作为免优化适配器。
通过合成曝光包围实现线性图像生成
Linear Image Generation by Synthesizing Exposure Brackets
把高动态范围线性图像拆成曝光包围序列、再用 DiT 流匹配逐段生成,为需要保留极端高光与阴影的生成任务(HDR 合成、RAW 域生成、专业后期编辑)提供了一个可复用的表示与建模方案。
基于光照的视频生成:以渲染器为支撑的智能体推理
Lighting-grounded Video Generation with Renderer-based Agent Reasoning
把布局、光照、相机轨迹等显式3D场景属性通过渲染器转成控制信号,再用轻量条件模块注入视频扩散模型,为可控视频生成提供了可复用的解耦条件注入范式;其场景智能体把高层指令翻译成3D控制信号的思路也可迁移到其他条件生成任务。
让雪落下!基于物理引导分数蒸馏为 3D 高斯场景添加动态天气效果
Let it Snow! Animating 3D Gaussian Scenes with Dynamic Weather Effects via Physics-Guided Score Distillation
把物理仿真当作运动先验去引导 Video-SDS,为静态 3DGS 场景注入物理合理的多粒子动态(雪、雨、雾、沙尘),这套「物理引导 + 分数蒸馏联合优化运动与外观」的框架可直接迁移到 3D 场景动态化、流体/粒子特效生成等任务。
通过理解来生成:面向统一多模态模型的理解驱动内在奖励
Learning to Generate via Understanding: Understanding-Driven Intrinsic Rewarding for Unified Multimodal Models
把统一多模态模型的理解分支当作奖励模型,用 token 级文本-图像对齐内在奖励做自监督强化学习来提升 T2I 生成,为视觉研究者提供了一种无需外部偏好数据即可微调生成质量的思路。
利用合成运动数据学习生成高动态视频
Learning to Generate Highly Dynamic Videos using Synthetic Motion Data
用渲染光流作为与外观解耦的运动监督信号,训练视频扩散模型学习真实数据中稀缺的剧烈运动与精确相机运动控制,可直接迁移到任何需要细粒度运动条件的视频生成管线。
类比学习:面向组合泛化的因果框架
Learning by Analogy: A Causal Framework for Compositional Generalization
该论文提出的层级因果数据生成过程与可识别性理论,为视觉生成模型(如扩散模型)实现组合泛化提供了可证明的潜变量结构设计原则,可指导构建能重组已知概念生成新场景的生成器。
学习信任什么:面向视觉生成的贝叶斯先验引导优化
Learning What to Trust: Bayesian Prior-Guided Optimization for Visual Generation
把奖励模型的不确定性显式建模为语义先验锚点,并在组间与组内两个层级调制优化信任度,可直接迁移到任何用 GRPO/RLHF 后训练的扩散或视频生成模型上,缓解文本-视觉多对多对应带来的奖励噪声过拟合。
学习直线流:面向高效生成的变分流匹配
Learning Straight Flows: Variational Flow Matching for Efficient Generation
把变分潜变量作为「生成全局概览」注入流匹配,显式约束轨迹笔直,为视觉生成模型提供可复用的一步采样训练范式,可直接替换扩散/流匹配的采样器设计。
学习长时运动嵌入以实现高效运动学生成
Learning Long-term Motion Embeddings for Efficient Kinematics Generation
把长时运动轨迹压缩成 64x 时序压缩的隐空间,再用条件流匹配在该空间生成运动,为视觉研究者提供了一条绕开逐帧视频合成、直接生成场景动态的轻量路径,可迁移到轨迹预测与可控运动生成。
LeapAlign:通过构建两步轨迹在任意生成步对流匹配模型进行后训练
LeapAlign: Post-training Flow Matching Models at Any Generation Step by Building Two-Step Trajectories
LeapAlign 通过将长 ODE 采样轨迹压缩为两步跳跃,使奖励梯度能直接回传到早期生成步,从而以低显存代价对齐流匹配模型;该技术可复用于任何需要端到端优化生成过程(如扩散/流模型)的视觉任务,例如文本到图像生成中的偏好微调。
LacTokGen:用 256 个词元生成 1024 像素图像的潜一致性分词器
LacTokGen: Latent Consistency Tokenizer for 1024-pixel Image Generation by 256 Tokens
LacTok 将离散视觉词元与预训练潜扩散模型的紧凑潜空间桥接,用 256 个词元表示 1024×1024 图像,为高分辨率自回归图像生成提供了一种高效的分词方案;其潜一致性解码器将多步采样压缩至 1-2 步,可直接用于像素级监督,这一思路可迁移到其他需要高效解码的生成任务中。
LaVR:基于大型4D重建模型场景潜变量条件的生成式视频轨迹重渲染
LaVR: Scene Latent Conditioned Generative Video Trajectory Re-Rendering using Large 4D Reconstruction Models
用大型4D重建模型的潜空间作为隐式几何条件来驱动视频扩散生成,绕开显式深度估计与重建,为需要几何一致性的视频生成/新视角合成提供了一条可复用的条件注入路径。
恰逢其时:面向扩散 Transformer 的免训练空间加速
Just-in-Time: Training-Free Spatial Acceleration for Diffusion Transformers
JiT 把扩散 Transformer 的采样加速从时间维度转到空间维度:只对动态选出的稀疏锚 token 计算 ODE,再用确定性 micro-flow 把新增 token 平滑接入潜变量,可直接套用到 FLUX、DiT 类骨干上做免训练推理加速。
为时未晚:面向已训练扩散模型坍塌恢复的噪声优化
It's Never Too Late: Noise Optimization for Collapse Recovery in Trained Diffusion Models
对已训练好的扩散模型,只需在采样阶段优化初始噪声(并考虑噪声的频率特性)就能缓解模式坍塌、提升生成多样性,无需重训或额外引导网络;做文生图多样性、少样本采样策略的人可以直接复用这一噪声优化目标。
IntroSVG:通过内省式生成器-评论器框架从渲染反馈中学习文本到SVG生成
IntroSVG: Learning from Rendering Feedback for Text-to-SVG Generation via an Introspective Generator-Critic Framework
将渲染后的视觉反馈引入自回归生成循环,通过生成器-评论器双角色VLM和DPO对齐,为文本到矢量图形生成提供了可复用的闭环优化范式。
InfinityHuman:迈向长期音频驱动的人体动画
InfinityHuman: Towards Long-Term Audio-Driven Human Animation
提出粗到细框架,利用解耦的姿态序列作为稳定视觉锚点来抑制长视频生成中的误差累积,并引入手部特定奖励机制提升手势真实感,可复用于其他长时序人体动画任务。
Infinity-RoPE:动作可控的无限视频生成源自自回归自展开
Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout
把 3D-RoPE 改造成「移动局部参考系」的相对论式编码,配合只保留 sink 与末帧两个锚框 token 的 KV Flush,可在不重训练的情况下把自回归视频扩散的生成时长推到无限,并支持提示词即时响应与多段转场;做长视频生成或 KV 缓存压缩的工作可直接复用这三件套。
视频生成模型的推理时物理对齐:基于潜变量世界模型
Inference-time Physics Alignment of Video Generative Models with Latent World Models
把潜变量世界模型(VJEPA-2)当作奖励,在推理阶段搜索并引导多条去噪轨迹,为视频生成提供了一种无需重训练、可扩展测试时计算的物理合理性对齐手段,可直接迁移到其他生成模型的后处理与采样策略中。
借助视觉线索的结果奖励强化学习激励生成式零样本学习
Incentivizing Generative Zero-Shot Learning via Outcome-Reward Reinforcement Learning with Visual Cues
把结果奖励强化学习用于生成式零样本学习的特征合成器,用类级视觉原型作为奖励信号与稳定项,可迁移到任何需要让生成器产出任务相关特征(而非仅语义一致)的条件生成场景。
用内在自置信度奖励改进文本到图像生成
Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards
用模型自身对加噪潜变量的重建误差构造内在奖励,替代外部奖励模型做强化学习后训练,可直接迁移到扩散/流匹配模型的偏好对齐与组合生成能力提升,并可与外部奖励组合以缓解奖励黑客。
通过自适应低通引导改善图像到视频模型中的运动
Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance
对做图像到视频生成的人,这是一个无需训练、只改采样过程的插件:在去噪早期对条件图像施加自适应低通滤波,抑制高频细节导致的静态捷径,可直接套用到任意 I2V 模型的采样循环中以提升运动幅度。
以弱到强分段引导提升扩散模型泛化能力
Improving Diffusion Generalization with Weak-to-Strong Segmented Guidance
把 CFG 与 AutoGuidance 统一到弱到强原则下,给出何时该用哪种引导的判据,并提出 SEG 混合引导;做扩散采样或引导调参时可直接替换 CFG,也可把该原则写进训练目标以提升无引导模型的泛化。
改进的 MeanFlow:论快进生成模型的挑战
Improved Mean Flows: On the Challenges of Fastforward Generative Models
把 MeanFlow 的训练目标改写为对瞬时速度 v 的回归(网络仍预测平均速度 u),并把引导尺度作为显式条件变量做 in-context 条件化,使一步生成模型在测试时可自由调节引导强度;做少步/一步扩散或流匹配采样的人可直接复用这一目标重参数化与条件化引导设计。
ImageRAGTurbo:面向一步文本到图像生成的检索增强扩散模型
ImageRAGTurbo: Towards One-step Text-to-Image Generation with Retrieval-Augmented Diffusion Models
提出在UNet去噪器的潜空间(H-space)中通过交叉注意力融合检索到的文本-图像对,以极低微调成本提升少步/单步扩散模型的提示词保真度,为快速文本到图像生成提供可复用的检索增强适配器方案。
基于一致性求解器的图像扩散预览
Image Diffusion Preview with Consistency Solver
把扩散采样器本身当作可训练的高阶线性多步求解器,用强化学习直接优化少步预览质量与预览-终稿一致性,可作为即插即用的采样器替换 DPM-Solver 类求解器,用于交互式生成与预览-精修流程。
基于奖励引导优化的身份保持图像到视频生成
Identity-Preserving Image-to-Video Generation via Reward-Guided Optimization
提出基于强化学习的奖励引导优化框架,通过人脸身份评分器反向传播奖励信号至采样链最后几步,并利用真实视频人脸特征池增强泛化性,为扩散模型的身份保持提供可复用技术。
IP-Adapter 就够了:面向免微调扩散式说话人脸生成
IP-Adapter Is All You Need: Towards Fine-Tuning-Free Diffusion-Based Talking Face Generation
把 IP-Adapter 的视觉嵌入能力当作免微调的条件注入接口,配合无需训练参数的结构解耦与噪声先验抑制模块,为资源受限场景下的条件扩散生成提供了可复用的「冻结骨干+零参数控制」范式。
IMS3:打破基于扩散的数据集蒸馏中的分布聚合
IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation
该论文提出反演引导的微调与选择性采样,可提升扩散模型生成样本的判别性与多样性,对需要合成训练数据的视觉任务(如分类、检测)有直接参考价值。
ID-Crafter:面向组合式多主体视频生成的视觉语言模型接地在线强化学习
ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation
分层身份保持注意力(intra-subject/inter-subject/cross-modal 三级聚合)与 VLM 语义引导、在线 RL 微调的组合,可直接迁移到个性化视频生成与多主体可控生成中,解决多主体身份混淆与语义冲突问题。
HoloCine:电影级多镜头长视频叙事的整体生成
HoloCine: Holistic Generation of Cinematic Multi-Shot Long Video Narratives
窗口交叉注意力把文本提示定位到具体镜头、镜头内稠密镜头间稀疏的自注意力模式,是让长视频生成在分钟级尺度上保持全局一致且算力可控的可复用设计,可直接迁移到任何需要跨片段一致性的长序列生成任务。
Hint2Gen:通过代码结构化提示连接理解与生成
Hint2Gen: Bridging Understanding and Generation via Code-structured Hints
把 SVG/HTML 这类代码结构化提示作为图像平面上的显式条件输入,接到 FLUX.1 Kontext 这类扩散编辑模型上,为「推理密集型生成」提供了一条可复用的条件注入路径;Reason2Gen 基准也可直接用于评测生成模型的推理能力。
面向解耦文本驱动运动生成的语义先验分层增强
Hierarchical Enhancement of Semantic Priors for Disentangled Text-Driven Motion Generation
把潜空间结构化为多个语义一致子流形(AG-VAE)的思路,可直接迁移到视觉扩散模型的潜空间解耦与可控生成;分层跨模态注意力与动态记忆融合也可用于文本到图像/视频的条件注入设计。
面向视频到语音生成的层级编解码扩散模型
Hierarchical Codec Diffusion for Video-to-Speech Generation
把 RVQ 编解码器的层级结构直接映射为扩散 Transformer 的低层/高层 block,并用唇动、身份、表情分别条件化不同层级,这种「按 token 层级分配视觉条件」的做法可迁移到其他跨模态生成任务(如视频到动作、面部到语音)。
HiCoGen:基于强化学习的扩散模型分层组合式文本到图像生成
HiCoGen: Hierarchical Compositional Text-to-Image Generation in Diffusion Models via Reinforcement Learning
把复杂提示拆成最小语义单元、逐步合成并让每步图像作为下一步视觉上下文,再用分层奖励的强化学习优化采样;其中「将随机性集中在前段以最大化样本多样性」的衰减随机性调度可直接用于任何扩散采样的探索增强。
异构去中心化扩散模型
Heterogeneous Decentralized Diffusion Models
把 DDPM 与流匹配两种目标在去中心化多专家训练中混用、推理时统一,并给出 ImageNet-DDPM 到流匹配的权重转换方案,为算力受限的视觉生成研究提供了可复用的低成本训练路径。
听见你所见:基于扩散 Transformer 与语义-时序对齐排序直接偏好优化的视频到音频生成
Hear What You See: Video-to-Audio Generation with Diffusion Transformer and Semantic-Temporal Alignment-Ranked Direct Preference Optimization
把视频帧与文本线索作为多模态条件注入 co-attention 扩散 Transformer,并用按语义-时序对齐排序构造偏好对的 DPO 微调扩散采样过程,这套「自动排序候选 + 偏好微调」的流程可直接迁移到其他以视觉为条件的生成任务(如视频生成、可控图像生成)中提升条件对齐度。
听见关键之声!文本条件的选择性视频到音频生成
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
把文本提示词当作显式选择器,通过补充 token 引导交叉注意力从视频编码器中分离出与提示词相关的声源视觉特征,这一「文本引导特征选择」思路可迁移到视觉中的条件生成与可控编辑任务。
面向细粒度图像生成的按检测头自适应旋转位置编码
Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation
把标准多维 RoPE 换成按检测头自适应、经 SVD 参数化的可学习旋转映射,可直接作为现有 DiT/Flux 类图像生成主干的位置编码替换件,改善细粒度空间关系与计数能力,且不破坏相对位置性质。
Harmony:通过跨任务协同实现音视频生成和谐化
Harmony: Harmonizing Audio and Video Generation through Cross-Task Synergy
提出跨任务协同训练与SyncCFG,可迁移到视频生成中增强跨模态对齐;全局-局部解耦交互模块为时序细粒度对齐提供高效注意力设计思路。
和谐画布:面向视觉引导音乐风格迁移的无反转编辑
Harmonic Canvas: Inversion-Free Editing for Visually-Guided Music Style Transfer
把基于 flow 的无反转编辑框架从图像迁移到音频,用 CLIP+ViT 双编码器融合视觉嵌入作为生成条件,并用可微归一化色度约束在生成流上保持内容一致性——这套「视觉条件 + 无反转流编辑 + 内容保持约束」的组合可直接复用到图像/视频的风格化编辑与视觉引导生成。
HandX:扩展双手运动与交互生成
HandX: Scaling Bimanual Motion and Interaction Generation
对手部精细动作与双手交互生成感兴趣的视觉研究者,可直接复用其解耦标注范式(先抽取接触事件、手指弯曲等运动特征,再用 LLM 生成语义描述)以及手部专用评测指标,用于构建条件运动生成的数据与评测流程。
HandWorld:以手为中心的统一视频动作生成
HandWorld: Hand-Centric Unified Video Action Generation
用双分支条件网络把视频域与动作域对齐成共享条件,再由两个解耦的扩散 Transformer 分别生成,这种「共享条件 + 分域解耦生成」的范式可直接迁移到其他需要联合生成视觉与结构化信号的设定(如轨迹+视频、音频+视频)。MANO 渲染手部作为中间输入提升跨域一致性的做法,对手物交互视频生成与动作预测都有参考价值。
HalluGen:合成逼真可控的幻觉以评估图像复原
HalluGen: Synthesizing Realistic and Controllable Hallucinations for Evaluating Image Restoration
HalluGen 提供了一种可控合成幻觉的扩散框架,可用于生成带有类型、位置和严重程度标注的幻觉数据,进而训练无参考幻觉检测器或评估图像质量指标;其提出的 SHAFE 指标利用特征和软注意力池化提升幻觉敏感性,对图像复原任务的可信度评估有直接借鉴意义。
HVG-3D:打通真实与仿真域的三维条件手物交互视频合成
HVG-3D: Bridging Real and Simulation Domains for 3D-Conditional Hand-Object Interaction Video Synthesis
将 3D ControlNet 接入扩散视频生成主干,用显式三维几何与运动线索替代 2D 控制信号,为视觉研究者提供了一条把仿真 3D 数据与真实单图结合、实现时空可控视频合成的可复用路径。
HG-Lane:无需重新标注的恶劣天气与光照条件下高保真车道场景生成
HG-Lane: High-Fidelity Generation of Lane Scenes under Adverse Weather and Lighting Conditions without Re-annotation
无需重新标注即可在雨雪雾与夜间/黄昏条件下合成高保真车道场景图像,可直接作为车道线检测等下游任务的数据增广手段,缓解极端条件数据稀缺导致的模型失效。
以扩散 Transformer 自身的内部动态引导其生成
Guiding a Diffusion Transformer with the Internal Dynamics of Itself
提出一种无需额外训练或采样步数的引导方式:训练时对中间层加辅助监督,采样时对中间层与深层输出做外推,可直接替换或叠加 CFG 用于 DiT 类扩散模型,在低训练轮次下显著降低 FID。
通过交换词元引导扩散模型
Guiding a Diffusion Model by Swapping Its Tokens
把 CFG 的「条件-无条件」差分替换为「干净预测-词元交换扰动预测」的差分,使无条件和条件扩散模型都能在推理阶段获得保真度提升,且无需训练、可直接插入任意扩散模型。
引导 token 稀疏扩散模型
Guiding Token-Sparse Diffusion Models
对在稀疏 token 上训练的扩散模型,用 token 级稀疏性替代条件 dropout 作为引导信号,可在推理时以更少 FLOPs 获得更高保真度与条件预测方差,可直接替换现有 CFG 采样流程。
用语义退化条件引导扩散模型
Guiding Diffusion Models with Semantically Degraded Conditions
CDG 提出用语义退化条件替代空提示词作为负样本,为扩散模型引导提供了一种无需训练、即插即用的改进方案,可直接用于提升文本到图像生成的组合准确性和图文对齐。
以细粒度条件与语义保持采样引导扩散模型用于单样本联邦学习
Guiding Diffusion Models with Fine-Grained Conditions and Semantics-Preserving Sampling for One-Shot Federated Learning
把扩散模型当作客户端本地的数据生成器:用细粒度条件嵌入刻画类内模式、再对潜噪声分布建模并做自反思采样来提升合成数据的保真度与多样性,这套「条件嵌入+潜噪声分布采样」的组合可直接迁移到任何需要少量样本生成多样化训练数据的视觉场景(如小样本分类、长尾数据增广)。
组扩散:通过解锁跨样本协作增强图像生成
Group Diffusion: Enhancing Image Generation by Unlocking Cross-Sample Collaboration
把注意力从单张图内的 patch 扩展到一组图像之间,在推理阶段联合去噪,是一种无需重训即可插到现有 DiT 上的推理策略;做图像生成的人可以直接试「组大小」这一新超参,并用其提出的定性指标监控跨样本注意力强度与 FID 的相关性。
Goal Force:教视频模型完成物理条件化的目标
Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals
把力向量与中间动力学作为条件信号注入视频生成模型,使其充当隐式神经物理模拟器;这一条件化范式可迁移到需要物理一致性的视频预测与机器人规划任务中。
Gloria:基于内容锚帧的一致角色视频生成
Gloria: Consistent Character Video Generation via Content Anchors
把角色外观压缩成少量「锚帧」作为参考条件,并用 RoPE 位置偏移区分多张参考图、用超集内容锚定抑制复制粘贴,这套「多参考条件去冲突」思路可直接迁移到任何以参考图驱动的视频/图像生成任务。
几何作为上下文:在场景一致视频生成中调制显式3D以构建几何上下文
Geometry-as-context: Modulating Explicit 3D in Scene-consistent Video Generation to Geometry Context
将显式3D几何作为上下文信号,通过自回归视频生成模型迭代完成几何估计与新视角恢复,为场景一致视频生成提供可复用框架;相机门控注意力模块可增强相机位姿控制。
GeodesicNVS:面向新视角合成的概率密度测地线流匹配
GeodesicNVS: Probability Density Geodesic Flow Matching for Novel View Synthesis
把扩散的随机噪声到数据路径换成成对视图间的数据到数据确定性流匹配,并用密度测地线约束插值轨迹,可直接用于需要多视角一致性的生成式新视角合成与三维一致生成。
GeoRelight:用灵活多模态扩散 Transformer 联合学习几何重光照与重建
GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers
把重光照与单图三维几何估计放进同一个多模态 DiT 联合求解,并用与潜变量扩散兼容的无畸变 NDC-正交深度表示 iNOD 作为几何接口,可直接复用到需要几何一致性的图像重光照、逆渲染与单图重建任务。
基于一维潜变量表示的生成式视频压缩
Generative Video Compression with One-Dimensional Latent Representation
把视频编码成极紧凑的一维潜变量词元、并用长短期记忆上下文做条件,为视觉研究者提供了一条绕开二维网格刚性对应、按语义自适应聚合帧间信息的表示思路,可直接迁移到视频生成与视频表征压缩的潜空间设计上。
基于视频扩散先验的生成式神经视频压缩
Generative Neural Video Compression via Video Diffusion Prior
把视频扩散 Transformer 的流匹配去噪先验迁移到压缩潜变量的序列级精修上:从解码潜变量而非纯噪声初始化,并学习一个修正项来适配压缩退化,这一「以退化潜变量为起点的少步精修」思路可直接复用于超分、去压缩伪影等低层复原任务。
权重的生成式建模:泛化还是记忆?
Generative Modeling of Weights: Generalization or Memorization?
对做生成模型的人是一个警示性评测框架:它给出「复制/插值 vs 真正新样本」的判别思路(与训练 checkpoint 的距离、与加噪/权重集成的基线对比),可直接迁移到图像生成中检测扩散模型是否只是在记忆训练集。
GVIS:生成式矢量图像隐写
GVIS: Generative Vector Image Steganography
利用扩散模型生成的栅格图像经矢量化后,其贝塞尔控制点坐标可作为隐写载体;这种“生成-矢量化-差分提取”的免训练流程,为视觉研究者提供了一种把扩散采样过程当作确定性编码通道的思路,可迁移到水印、版权溯源与可控生成中的隐式信息注入。
GT-SVJ:基于生成Transformer的自监督视频裁判用于高效视频奖励建模
GT-SVJ: Generative-Transformer-Based Self-Supervised Video Judge For Efficient Video Reward Modeling
将视频生成模型(如扩散模型)通过能量模型重参数化,并利用潜在空间扰动构造负样本进行对比训练,从而作为时序感知的奖励模型,为视频生成质量评估和偏好对齐提供了新思路。
GRPO-Guard:通过受调控的裁剪缓解流匹配中的隐式过度优化
GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping
对做扩散/流匹配模型 RL 后训练的人,这篇给出了一个可直接替换 PPO clipping 的比值归一化 + 梯度重加权模块,用来防止代理奖励上涨而图像质量与文本对齐崩塌;可作为 SD3.5、Flux 等骨干上 GRPO 微调的稳定化插件。
GROW:面向扩散模型的渐进引导水印生成
GROW: Watermark Generation with Progressive Guidance for Diffusion Models
把水印嵌入从一次性写入初始噪声改为沿扩散采样过程用频域梯度逐步引导生成,从而省去 DDIM 反转,为扩散模型版权保护提供近 100 倍加速的免训练检测方案。
GDRO:适用于扩散模型的组级奖励后训练
GDRO: Group-level Reward Post-training Suitable for Diffusion Models
对做扩散/整流流模型奖励对齐的人,GDRO 给出一个可复用的后训练范式:用组级奖励构造完全离线的目标,省掉在线图像采样 rollout,并摆脱 ODE-to-SDE 近似对随机采样器的依赖;同时提出把奖励黑客趋势纳入评测的修正分数,可直接用于评估任何 RL 微调的文生图模型。
以你的方式融合:通过直接偏好优化使图像融合对齐异构需求
Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization
把 DPO 引入潜扩散模型的采样过程,用偏好信号直接控制生成结果的属性,为视觉中「同一输入需输出多种风格/质量取向结果」的可控生成提供了一套可复用的偏好对齐训练范式。
希尔伯特空间中的函数均值流
Functional Mean Flow in Hilbert Space
把一步式 Mean Flow 推广到无穷维希尔伯特空间,并给出 x_1-prediction 形式提升稳定性;对视觉研究者而言,这提供了一条在函数空间做一步流匹配采样的通用路径,可直接用于图像、3D 几何等连续域数据的少步生成。
从草图到湿壁画:渐进分辨率的 Efficient 扩散 Transformer
From Sketch to Fresco: Efficient Diffusion Transformer with Progressive Resolution
把「低分辨率起草 + 高分辨率精修」做成跨阶段对齐同一目标的免训练采样框架,可直接套到 FLUX、HunyuanVideo 等 DiT 上,并与蒸馏、量化、特征缓存正交叠加,是降低迭代采样成本的可复用加速手段。
频率感知流匹配用于高质量图像生成
Frequency-Aware Flow Matching for High-Quality Image Generation
把频率分解与时间相关的自适应加权引入流匹配的潜空间生成,为提升扩散/流模型的细节保真度提供了一个可插拔的条件注入思路,可直接迁移到视频生成或高分辨率合成中。
基于层自适应分布外校正的免训练长视频生成
Free-Lunch Long Video Generation via Layer-Adaptive O.O.D Correction
针对预训练短片段视频扩散模型在长视频推理时的分布外问题,提出免训练的分层自适应校正框架,包含视频相对位置重编码和分层稀疏注意力,可直接用于提升现有视频扩散模型的长视频生成质量。
FrankenMotion:部位级人体动作生成与组合
FrankenMotion: Part-level Human Motion Generation and Composition
把生成过程按身体部位解耦、每个部位由独立时序文本提示驱动,这种「部位级条件注入 + 原子动作组合」的思路可迁移到细粒度可控的人体/手部/面部动作生成与编辑,也提示了用 LLM 自动构建细粒度时序标注的可行路径。
FoleyDirector:通过结构化脚本实现视频到音频生成的细粒度时序引导
FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts
FoleyDirector 在 DiT 架构上通过结构化时序脚本和时序脚本注意力实现细粒度时序控制,为视觉研究者提供了一种可复用的时序条件注入机制,尤其适用于多事件或视觉线索不足(如小区域、画外音、遮挡)的视频到音频生成场景。
FoleyDesigner:面向电影片段的沉浸式立体声拟音生成与精确时空对齐
FoleyDesigner: Immersive Stereo Foley Generation with Precise Spatio-Temporal Alignment for Film Clips
论文将视频帧的时空线索作为条件输入潜变量扩散模型,实现与画面精确对齐的立体声拟音生成,其多智能体分析架构和时空条件注入方式可迁移到视频到音频生成、音视觉对齐等跨模态生成任务。
面向手语生成的语义一致引导焦点-全局扩散模型
Focal-General Diffusion Model with Semantic Consistent Guidance for Sign Language Production
两阶段去噪框架把局部关节级建模(自适应图卷积)与全局序列精修(Transformer)解耦,并用语义一致引导把文本语义监督注入扩散训练,这一「局部-全局分层去噪 + 语义引导」思路可迁移到人体姿态/动作序列生成等结构化输出任务。
Flowception:面向视频生成的时间可扩展流匹配
Flowception: Temporally Expansive Flow Matching for Video Generation
把「离散插帧 + 连续去噪」交替的概率路径用于视频生成,可作为一种非自回归、可变长度的采样范式,替代自回归视频模型以缓解误差累积,并天然支持图像到视频与插帧等任务。
FlowSteer:以真实轨迹引导少步图像合成
FlowSteer: Guiding Few-Step Image Synthesis with Authentic Trajectories
把 ReFlow 蒸馏从「点对点回归」改成沿教师真实 ODE 轨迹对齐,并给出 FlowMatchEulerDiscreteScheduler 的少步推理缺陷修复,可直接用于 SD3 类流模型的少步加速训练与采样器实现。
FlowPalm:光流驱动的非刚性形变用于几何多样化的掌纹生成
FlowPalm: Optical Flow Driven Non-Rigid Deformation for Geometrically Diverse Palmprint Generation
利用光流估计真实掌纹对之间的非刚性形变统计先验,并在扩散采样过程中渐进引入几何形变,为生成具有几何多样性的合成数据提供了可复用的技术思路,可迁移到其他需要模拟形变的生物特征生成任务。
FlowMotion:面向视频运动迁移的免训练流引导
FlowMotion: Training-Free Flow Guidance for Video Motion Transfer
对做视频生成的人,这篇给出了一个免训练的运动控制手段:直接拿 flow-based T2V 模型早期潜变量预测当运动表征,省掉额外构造中间引导的开销;速度正则化稳定优化的做法也可迁移到其他采样期引导任务。
面向多模态分布的流匹配
Flow Matching for Multimodal Distributions
把源分布从单一高斯换成数据自适应的混合高斯,并配合模式相关的数据耦合,可让流匹配模型的传输路径更短更直,从而在更少训练轮次和采样步数下取得更优 FID;这一「源-耦合协同设计」思路可直接迁移到图像/视频流匹配生成器的训练加速上。
无需数据的流映射蒸馏
Flow Map Distillation Without Data
把流映射蒸馏的数据依赖替换为仅从先验分布采样,并显式校正学生沿采样路径的累积误差,可直接用于把任意预训练扩散/流模型压到 1 步采样而不需要外部数据集。
FloodDiffusion:面向流式动作生成的定制化扩散强制
FloodDiffusion: Tailored Diffusion Forcing for Streaming Motion Generation
论文揭示的扩散强制改造要点(双向注意力、下三角时间调度器、连续时变条件注入)可直接迁移到视频等流式时序生成任务,为实时、变条件驱动的序列生成提供可复用的训练范式。
FlashPortrait:基于自适应潜变量预测的6倍速无限肖像动画
FlashPortrait: 6x Faster Infinite Portrait Animation with Adaptive Latent Prediction
提出基于高阶潜变量导数的未来步预测方法,可跳过多个去噪步实现6倍加速,该技术可迁移到其他扩散模型加速场景;同时归一化表情块与动态滑动窗口策略为长视频生成中的身份一致性提供了可复用方案。
FlashMotion:基于轨迹引导的少步可控视频生成
FlashMotion: Few-Step Controllable Video Generation with Trajectory Guidance
将多步轨迹可控视频生成器蒸馏为少步版本,并设计扩散+对抗混合目标微调轨迹适配器,可直接复用于任何需要加速的可控视频生成管线;同时提出的 FlashBench 提供了长序列轨迹精度评测协议。
FlashLips:基于重建而非扩散或 GAN 的 100 FPS 免掩码潜空间唇形同步
FlashLips: 100-FPS Mask-Free Latent Lip-Sync using Reconstruction Instead of Diffusion or GANs
用纯重建损失的单步潜空间编辑器替代 GAN/扩散做唇形编辑,并以嘴部篡改变体自监督生成伪真值来免除推理期 mask,这套「重建式编辑 + 伪标签定位」思路可迁移到其他局部可控编辑任务。
Flash-DMD:以高效蒸馏与联合强化学习实现高保真少步图像生成
Flash-DMD: Towards High-Fidelity Few-Step Image Generation with Efficient Distillation and Joint Reinforcement Learning
把持续进行的时间步蒸馏损失当作正则项与 RL 目标联合训练,可稳定少步扩散模型的偏好微调并抑制奖励黑客;该联合训练范式可直接迁移到任何需要人类偏好对齐的少步图像生成器。
首帧是视频内容定制的关键
First Frame Is the Place to Go for Video Content Customization
揭示视频生成模型将首帧作为概念记忆缓冲区的隐式机制,为参考引导的视频内容定制提供了一种无需架构改动、仅需20-50个训练样本的少样本微调思路,可复用于个性化视频生成与编辑任务。
细粒度 GRPO:面向流模型的精确偏好对齐
Fine-Grained GRPO for Precise Preference Alignment in Flow Models
把 GRPO 式在线 RL 的信用分配细化到单步 SDE 扰动,并跨多个扩散尺度聚合优势,可直接迁移到任何 flow/diffusion 模型的偏好对齐与奖励微调流程中。
基于多模态流匹配的少样本声学生成
Few-shot Acoustic Synthesis with Multimodal Flow Matching
把流匹配 + 扩散 Transformer 用于以稀疏多模态场景线索(空间、几何、声学)为条件的概率化生成,其条件融合与少样本泛化思路可迁移到视觉中的跨模态条件生成任务;AGREE 这种联合嵌入做几何一致性检索评测的做法,也可借鉴到视觉生成结果的分布级评测。
通过实例感知离散化的少步扩散采样
Few-Step Diffusion Sampling Through Instance-Aware Discretizations
提出实例感知的离散化框架,根据输入自适应分配采样时间步,可即插即用于扩散/流匹配模型的少步采样,在像素空间、潜空间图像和视频生成中提升质量且推理开销可忽略。
FastHybrid:利用前瞻与引导解码加速混合自回归图像生成
FastHybrid: Accelerating Hybrid Autoregressive Image Generation with Lookahead and Guided Decoding
把混合自回归生成中的扩散解码头拆成「语义预测」与「细节精修」两条并行分支,并用引导扩散采样压缩去噪步数,为视觉生成中扩散解码器的推理加速提供了可直接复用的解码调度思路。
FabricGen:微观结构感知的机织织物生成
FabricGen: Microstructure-Aware Woven Fabric Generation
把材质生成拆成宏观纹理(微调扩散模型)与微观编织几何(LLM 驱动的程序化模型)两路,为视觉研究者提供了一种「扩散模型负责外观、程序化模型负责结构」的混合生成范式,可直接迁移到其他具有强结构规则的材质(针织、编织、木纹)生成与渲染。
FVAR:面向视觉自回归建模的下一聚焦预测
FVAR: Next-Focus Prediction for Visual Autoregressive Modeling
将视觉自回归生成中的均匀降采样金字塔替换为基于物理散焦核的渐进聚焦金字塔,从源头消除混叠,可直接用于改进 VAR 类模型的细节生成质量。
FINE:分解知识以实现可变尺寸扩散模型的初始化
FINE: Factorizing Knowledge for Initialization of Variable-sized Diffusion Models
把扩散模型每层权重分解为跨层共享的尺寸无关因子 U、V 与层专属的 Σ,从而在只有小模型预训练权重时直接重组初始化任意尺寸的扩散模型,仅需少量数据重训 Σ;对需要在显存受限场景下部署不同规模扩散模型的视觉研究者提供了可复用的权重分解与初始化思路。
FARMER:面向像素的流式自回归 Transformer
FARMER: Flow AutoRegressive Transformer over Pixels
把可逆归一化流当作像素到潜变量序列的变换器,再在潜变量上做自回归建模,为视觉生成提供了一条可精确计算似然的像素级生成路线;其中的潜变量通道分组降维与一步蒸馏加速思路,可直接迁移到其他长序列视觉生成模型的效率优化上。
通过判别性文本表征将一步图像生成从类别标签扩展到文本
Extending One-Step Image Generation from Class Labels to Text via Discriminative Text Representation
把 MeanFlow 这类一步/少步生成框架的条件从类别标签扩展到文本时,关键不是换更强的文本编码器,而是要求文本特征具备足够高的判别性;做少步蒸馏或一步采样时可直接借鉴这一「条件表征判别性」诊断与适配思路。
扩展与剪枝:最大化轨迹多样性以实现生成模型中有效的 GRPO
Expand and Prune: Maximizing Trajectory Diversity for Effective GRPO in Generative Models
Pro-GRPO 将基于潜变量的轨迹剪枝嵌入采样过程,通过提前终止奖励聚集的轨迹来降低计算开销,使大 group size 的 GRPO 训练在扩散/流模型中变得可行;其 Expand-and-Prune 策略可直接用于视觉生成模型的强化学习对齐。
ExpPortrait:通过个性化表征生成富有表现力的肖像
ExpPortrait: Expressive Portrait Generation via Personalized Representation
用高保真个性化头部表征(静态身份几何+动态表情细节)替代 2D landmark/参数化模型作为条件信号,驱动 DiT 生成肖像视频;做肖像动画或可控视频生成时,这套解耦表征与表情迁移模块可直接作为条件编码方案复用。
EvoID:面向身份保持视频生成的强化演化
EvoID: Reinforced Evolution for Identity-Preserving Video Generation
把身份保持视频生成从静态模仿学习改写为强化学习自演化过程,用「客观指标 + MLLM 整体质量评估」构成双路动态奖励,并用冻结教师锚定学生模型;做视频生成后训练或奖励设计的工作可直接借鉴这套奖励组合与教师锚定策略。
一步一步地预见未来
Envisioning the Future, One Step at a Time
把未来场景演化预测从稠密视频/潜空间生成改为稀疏点轨迹上的逐步自回归扩散推理,使单张图像快速 rollout 上千种未来假设;对做视频预测、轨迹生成或世界模型的研究者,这是一种可复用的「以稀疏轨迹为生成载体」的建模范式,并配套开放集运动预测基准 OWM。
通过奖励建模增强图像生成中的空间理解
Enhancing Spatial Understanding in Image Generation via Reward Modeling
用奖励模型为文生图的空间关系正确性提供可微/可打分信号,可直接接入在线 RL(如 GRPO/PPO 类)微调扩散或自回归生成器,解决复杂空间提示词需多次采样的问题;SpatialScore 也可作为空间一致性的自动评测器复用。
无尽世界:实时 3D 感知长视频生成
Endless World: Real-Time 3D-Aware Long Video Generation
条件自回归训练策略把新生成内容与已有帧对齐,配合全局 3D-aware 注意力注入几何约束,可在单卡实时生成无限长且 3D 一致的视频;这套「对齐已有帧 + 3D 引导」的思路可直接迁移到流式视频生成与长序列扩散采样。
厘清扩散概率模型的 SNR-t 偏差
Elucidating the SNR-t Bias of Diffusion Probabilistic Models
指出推理阶段去噪样本的 SNR 与时间步错配会导致误差累积,并给出按频率分量分别做差分校正的免训练修正手段,可直接插入现有扩散采样器(DDIM、EDM、FLUX 等)以提升生成质量。
Elastic3D:基于引导式潜变量解码的可控立体视频转换
Elastic3D: Controllable Stereo Video Conversion with Guided Latent Decoding
用条件潜扩散直接生成右视图、绕开显式深度估计与 warping,并设计引导式 VAE 解码器保证锐利与极线一致;其标量视差调节旋钮为立体/新视角生成提供了推理期可控性的可复用范式。
EgoX:从单段第三人称视频生成第一人称视频
EgoX: Egocentric Video Generation from a Single Exocentric Video
将大规模视频扩散模型通过轻量低秩适配迁移到极端视角变换的跨视角视频生成任务,其宽度/通道拼接的条件注入策略与几何引导自注意力机制可复用于新视角合成、视角转换等需要保持几何一致性的生成任务。
EgoControl:基于3D全身姿态的可控第一人称视频生成
EgoControl: Controllable Egocentric Video Generation via 3D Full-Body Poses
把显式3D全身姿态序列作为扩散模型的条件信号,并设计同时编码全局相机运动与关节体运动的姿态表示,为视觉研究者提供了一种可复用的「姿态→视频」控制接口,可用于具身智能中的动作模拟与规划。
Ego-InBetween:在第一人称视频中生成物体状态转移
Ego-InBetween: Generating Object State Transitions in Ego-Centric Videos
把「初始态→目标态」的中间帧生成显式建模为多步状态转移,并用 VLM 推断转移步骤作为生成条件,为视频生成中的长程物理一致性提供了一条可复用的「先推理后生成」范式。
高效且免训练的单图像扩散模型
Efficient and Training-Free Single-Image Diffusion Models
提出一种无需训练的扩散模型,利用单张图像的多尺度图像块数据集和闭式最优去噪器计算得分函数,可复用于图像生成、风格化、对称化等任务,并支持潜空间扩散和加速技术实现快速高分辨率生成。
基于得分生成模型的高效加权采样
Efficient Weighted Sampling via Score-based Generative Models
对做扩散生成的研究者,这篇给出了一个免训练、无需 Hessian 与粒子重采样的加权采样方案:用轻量近似替代引导项的高阶导数,并按时序误差动态调节引导强度,可直接套用到 SDXL 等预训练模型上做任务自适应采样,同时获得 1.2–4.7 倍加速。
时间回响:解锁视频到音频生成模型中的长度泛化能力
Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models
论文提出的非因果 Mamba 层次化架构,为视觉研究者提供了一种在测试时把短视频训练模型外推到长视频序列的思路,可直接迁移到长视频生成、长时序多模态对齐等需要长度泛化的场景。
EchoVDiff:从任意单帧生成心动周期超声心动图视频
EchoVDiff: Cardiac-Cycle Echocardiography Video Generation from Arbitrary Single Frame
提出相位感知扩散模型,在解耦潜空间中联合建模时序节律与空间语义,实现从任意单帧重建完整心动周期视频;其将生理先验融入扩散范式、解耦潜空间的设计思路可迁移至其他周期性或结构化视频生成任务。
EchoFoley:以事件为中心的层次化控制用于视频接地创意音效生成
EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation
提出以事件为中心的符号化表示(何时、何声、如何发声)作为细粒度控制信号,可迁移到视频生成中的局部事件控制;其慢快思维智能体框架为多模态条件平衡提供新思路。
EVATok:面向高效视觉自回归生成的自适应长度视频分词器
EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation
提出自适应视频分词器,根据视频内容动态分配词元数量,在保持重建质量的同时显著降低下游自回归生成的计算成本,为视频生成模型的高效化提供了可复用的分词与路由机制。
DynamicsBoost:通过无标注续写偏好优化实现动态合理的视频生成
DynamicsBoost: Dynamic Plausible Video Generation via Annotation-Free Continuation Preference Optimization
用视频续写自动构造偏好对(参考帧越多、生成内容越少、保真度越高),把 DPO 从昂贵的人工/VLM 标注中解放出来;做视频生成偏好对齐或奖励建模的可以直接复用这套数据构造与 Asymmetrical DPO 损失设计。
DyaDiT:面向社交友好双人手势生成的多模态扩散 Transformer
DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation
把扩散 Transformer 用于双人对话场景的联合运动生成,通过融合双方音频与可选的社会语境 token、并允许以对话伙伴的手势作为条件,为多人交互式人体动作生成提供了可复用的条件融合与响应式建模思路。
面向高效视频生成的双粒度记忆
Dual-Granularity Memory for Efficient Video Generation
针对循环式视频生成模型的分块处理导致时序不连续问题,提出上下文记忆(sink 列+边界缓冲)与潜变量记忆(跨段检索历史 latent)两种机制,可直接迁移到任何 chunked 自回归/循环视频生成器以提升长程一致性,且无需相机标注或帧重建。
DrivePTS:一种渐进学习框架,结合文本与结构增强用于驾驶场景生成
DrivePTS: A Progressive Learning Framework with Textual and Structural Enhancement for Driving Scene Generation
提出渐进学习策略与互信息约束解耦几何条件,并利用视觉语言模型生成多视角分层描述作为细粒度文本引导,结合频域结构损失增强前景细节,可迁移至其他条件生成任务。
DreamShot:基于视频扩散先验的个性化故事板合成
DreamShot: Personalized Storyboard Synthesis with Video Diffusion Prior
利用视频扩散先验进行多镜头故事板合成,通过多参考角色条件模块和角色注意力一致性损失显式约束参考与生成角色间的注意力,为可控视频生成中的角色一致性提供可复用技术。
少做多得:扩散模型强化学习微调需要每一步优化吗?
Do Less, Achieve More: Do We Need Every-Step Optimization for RL Fine-tuning of Diffusion Models?
提出一种自适应确定RL微调最佳时间窗口的插件方法,可减少计算成本并提升生成质量,为扩散模型RL微调提供高效策略。
DiverseGRPO:通过多样性感知GRPO缓解图像生成中的模式坍缩
DiverseGRPO: Mitigating Mode Collapse in Image Generation via Diversity-Aware GRPO
针对GRPO微调扩散模型时出现的模式坍缩问题,提出基于语义聚类的分布级奖励和结构感知正则化,可直接用于提升文生图模型的输出多样性,同时保持生成质量。
DiverseDiT:面向扩散 Transformer 中多样化表征学习
DiverseDiT: Towards Diverse Representation Learning in Diffusion Transformers
对做 DiT 图像生成的人,这篇给出了一个可直接插入任意 DiT 主干的正则手段:跨块长残差连接 + 表征多样性损失,用来替代或补充 REPA 式外部编码器对齐,并报告了收敛加速与一步生成下的收益。
基于行列式点过程引导策略优化的多样化视频生成
Diverse Video Generation with Determinantal Point Process-Guided Policy Optimization
把「一组采样的多样性」写成集合级奖励,用 DPP 对冗余样本施加递减收益、用 GRPO 做组内相对反馈,可直接套到任意 T2V/图像扩散模型的微调阶段,解决同一提示词多次采样结果雷同的问题。
DiffusionHarmonizer:以在线扩散增强器连接神经重建与照片级真实感仿真
DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer
把预训练多步图像扩散模型蒸馏成单步、时序条件化的在线增强器,可直接套在 NeRF/3DGS 渲染结果之后做后处理,为神经重建的新视角伪影与插入物体光照不匹配提供可复用的实时修复方案。
DiffusionFF:基于扩散模型的联合人脸伪造检测与细粒度伪影定位框架
DiffusionFF: A Diffusion-based Framework for Joint Face Forgery Detection and Fine-Grained Artifact Localization
将预训练伪造检测器作为编码器、扩散模型作为解码器,利用多尺度伪造特征条件生成细粒度伪影定位图,再与高层语义特征融合提升检测性能;该思路可迁移到其他需要细粒度异常定位的视觉任务。
扩散采样路径透露更多:一种高效的即插即用样本筛选策略
Diffusion Sampling Path Tells More: An Efficient Plug-and-Play Strategy for Sample Filtering
提出用 CFG 过程中条件与无条件分数的累积差异(ASD)作为样本质量的无监督代理指标,可在去噪早期直接拒绝低质量样本,无需外部奖励模型或重训练;做文生图采样加速与质量筛选时可直接嵌入现有采样循环。
扩散探针:使用 CNN 探针预测生成图像结果
Diffusion Probe: Generated Image Result Prediction Using CNN Probes
利用扩散模型早期去噪步骤的交叉注意力图统计特征,训练轻量级 CNN 探针预测最终图像质量,可用于提示词优化、种子选择与加速 RL 训练等需要早期质量引导的 T2I 工作流。
扩散心智平均
Diffusion Mental Averages
把「求平均」从像素空间搬到扩散模型的语义空间,用轨迹对齐优化多个噪声潜变量使其去噪轨迹收敛到同一原型——这提供了一个无需解码器即可在扩散潜空间做语义聚合/编辑的可复用手段,也可用于探测模型偏见与概念表征。
扩散引导的链式视觉:面向大型自回归视觉模型
Diffusion Guided Chain-of-Vision for Large Autoregressive Vision Models
把预训练扩散模型的概率流当作无需任务标注的中间视觉推理步骤,为纯视觉自回归模型提供链式视觉监督;做视觉上下文学习或多步视觉推理时,可复用这一「沿扩散轨迹采样中间图作为推理链」的思路,而不必依赖文本 CoT。
面向高效高保真绘画创作的双参数化可微笔画规划
Differentiable Stroke Planning with Dual Parameterization for Efficient and High-Fidelity Painting Creation
提出离散折线与连续贝塞尔控制点的双向映射,使可微优化能同时利用局部梯度与结构感知的笔画提议;其受高斯泼溅启发的初始化策略支持高度并行的笔画优化,可迁移到其他基于笔画的矢量生成任务(如草图生成、字体设计)。
DiffGraph:面向真实场景文本到图像生成的自动化智能体驱动模型合并框架
DiffGraph: An Automated Agent-driven Model Merging Framework for In-the-Wild Text-to-Image Generation
提出基于图结构的自动化模型合并框架,通过节点注册与校准组织在线专家模型,并根据用户需求动态激活子图,为视觉生成中的模型复用与组合提供可扩展方案。
DiffDecompose:基于扩散 Transformer 的 Alpha 合成图像逐层分解
DiffDecompose: Layer-Wise Decomposition of Alpha-Composited Images via Diffusion Transformers
把扩散 Transformer 当作后验采样器来解 alpha 合成图像的逐层分解,其 In-Context Decomposition 与 Layer Position Encoding Cloning 可直接迁移到去遮挡、透明物体分离、图层化编辑等需要多图层一致输出的视觉任务。
DiT360:通过混合训练实现高保真全景图像生成
DiT360: High-Fidelity Panoramic Image Generation via Hybrid Training
针对全景图像生成中边界不连续和畸变问题,提出在 VAE 前后分别进行域间转换与域内增强的混合训练策略,包括循环填充、偏航损失和立方体损失,可复用于其他需要保持几何一致性的生成任务。
DiP:在像素空间中驯服扩散模型
DiP: Taming Diffusion Models in Pixel Space
把高分辨率像素空间扩散拆成「大图像块上的全局结构 + 轻量细节检测头恢复局部细节」两阶段,可在不依赖 VAE 的前提下把像素空间扩散的推理成本压到 LDM 水平,做高分辨率图像生成或想摆脱 VAE 信息损失时可直接复用这一解耦范式。
灵巧世界模型
Dexterous World Models
将静态3D场景渲染与第一人称手部网格渲染作为条件输入视频扩散模型,实现动作驱动的场景交互视频生成,为具身交互与数字孪生提供可复用的条件生成框架。
通过REINFORCE与James-Stein收缩设计实例级采样时间表
Designing Instance-Level Sampling Schedules via REINFORCE with James-Stein Shrinkage
提出一种模型无关的后训练方法,通过单次Dirichlet策略学习实例级采样时间表,并利用James-Stein估计器构建奖励基线以降低梯度方差,可即插即用地提升冻结文本到图像扩散模型的文本对齐和少步生成质量。
设计你的广告:基于统一自回归模型的个性化广告图像与文本生成
Design Your Ad: Personalized Advertising Image and Text Generation with Unified Autoregressive Models
把图像与文本放进同一个自回归框架联合生成,并用粗到细的偏好理解模块从噪声多模态历史行为中抽取用户兴趣作为生成条件,为视觉生成中的个性化条件注入提供了可复用的范式;其前景感知模块与产品背景相似度指标也可直接用于电商图像生成的质量控制。
去噪,快与慢:面向图像生成的难度感知自适应采样
Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation
提出图像块级时间步采样与难度感知自适应计算分配,可复用于扩散/流匹配模型的训练与推理加速,并可与表示对齐、引导方法正交结合。
解耦残差去噪扩散模型:面向统一且数据高效的图像到图像翻译
Decoupled Residual Denoising Diffusion Models for Unified and Data Efficient Image-to-Image Translation
把扩散过程拆成「随机噪声扩散做域对齐+流形提升」与「确定性残差扩散学语义映射」两段,且噪声阶段只用大量无配对目标域图像训练,为少配对数据的统一 I2I 翻译提供了可复用的训练范式。
面向长尾学习的决策边界感知生成
Decision Boundary-aware Generation for Long-tailed Learning
把扩散生成增强从「补数量」推进到「补位置」:通过生成靠近决策边界的样本缓解头尾迁移带来的潜变量非局部特征混合,可直接复用到任何长尾分类或检测的生成式数据增强流程中。
DeCo:面向端到端图像生成的频率解耦像素扩散
DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation
把高频细节交给轻量像素解码器、让 DiT 专注低频语义的频率解耦思路,可直接迁移到任何在像素空间做扩散/流匹配的生成框架,用来降低训练与采样成本;配套的频率感知流匹配损失也可复用于其他扩散模型的损失设计。
DRiffusion:草稿-精炼过程轻松并行化扩散模型
DRiffusion: Draft-and-Refine Process Parallelizes Diffusion Models with Ease
通过 skip transition 并行生成未来时间步的草稿状态再统一去噪精炼,是一种与具体扩散骨干解耦的并行采样加速手段,可直接套用到图像/视频扩散模型的推理管线中以降低延迟。
DRM:基于扩散模型并带逐步引导的奖励模型
DRM: Diffusion-based Reward Model With Step-wise Guidance
把预训练扩散模型本身当作奖励骨干,利用其对含噪中间潜变量的逐步评估能力,为扩散模型对齐提供密集的每步奖励与推理时的路径引导,可直接迁移到任意扩散/流匹配模型的偏好优化与采样搜索。
DPAR:面向高效自回归视觉生成的动态图像块划分
DPAR: Dynamic Patchification for Efficient Autoregressive Visual Generation
用轻量无监督自回归模型的下一词元预测熵作为信息量准则,动态合并词元为大图像块,可直接迁移到任何 decoder-only 视觉自回归生成器中以降低注意力计算并加速收敛。
DMAligner:通过基于扩散模型的视图合成增强图像对齐
DMAligner: Enhancing Image Alignment via Diffusion Model Based View Synthesis
用扩散模型做面向对齐的新视图合成,替代传统光流 warping,能处理遮挡和光照变化;DMP 模块动态区分前景背景,思路可迁移到其他需要条件生成的视觉任务。
DDT:解耦扩散 Transformer
DDT: Decoupled Diffusion Transformer
把扩散 Transformer 的编码器与速度解码器解耦,让编码器专注低频语义、解码器专注高频细节,可直接迁移到任何 DiT 类骨干(如 DiT、SiT、UViT)以加速收敛;其相邻去噪步共享自条件的统计动态规划策略,也为少步推理与缓存复用提供了可复用的调度思路。
DBMSolver:面向高质量图像到图像翻译的免训练扩散桥采样器
DBMSolver: A Training-free Diffusion Bridge Sampler for High-Quality Image-to-Image Translation
把扩散桥 SDE/ODE 的半线性结构用指数积分器求解,得到免训练的一阶/二阶采样器,可直接替换现有 DBM 的采样环节,在 20 NFE 内把 FID 降低一半以上,适合需要低延迟的 I2I 翻译与修复流程。
DA-VAE:通过细节对齐为扩散模型提供可插拔的潜变量压缩
DA-VAE: Plug-in Latent Compression for Diffusion via Detail Alignment
提出一种可插拔的潜空间压缩方案,通过显式潜变量布局和细节对齐正则,在几乎不重新训练扩散模型的情况下将 token 数减少 4 倍,为高分辨率扩散生成提供高效路径。
D$^2$-FOSA:双扩散引导的频域语义对齐脑电到图像重建
D$^2$-FOSA: Dual-Diffusion Guided EEG-to-Image Reconstruction with Frequency-Oriented Semantic Alignment
论文提出的双扩散潜变量生成器(DDLG)与频域导向的Mamba编码器,为跨模态生成(如EEG到图像)提供了可复用的双向条件扩散框架和频域特征建模思路,可启发视觉-脑信号对齐及基于扩散的语义重建研究。
课程组策略优化:自适应采样释放文生图生成潜力
Curriculum Group Policy Optimization: Adaptive Sampling for Unleashing the Potential of Text-to-Image Generation
把 GRPO 训练中的提示词采样从均匀改为按组奖励方差自适应加权,可直接迁移到扩散/流匹配模型的强化学习后训练,用来提升提示词对齐与训练效率;类别校准的比例公平思路也可用于多类别文生图数据配比。
立方离散扩散:基于高维表征词元的离散视觉生成
Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens
把预训练高维语义表征(768-1024 维)直接离散化后做掩码扩散生成,使同一套离散词元既能用于理解又能用于生成,为视觉生成与语言模型共享词元预测范式提供了可复用的路径;其「任意维度任意位置可掩码、生成步数固定为 T」的机制可直接迁移到高维特征上的生成式建模。
CubeComposer:从透视视频时空自回归生成 4K 360 度视频
CubeComposer: Spatio-Temporal Autoregressive 4K 360deg Video Generation from Perspective Video
把高分辨率全景视频生成拆成立方体贴图六面 + 时间窗的自回归序列,配合稀疏上下文注意力与立方体感知位置编码,为在有限显存下原生生成超高分辨率视频提供了可复用的时空自回归分解范式。
面向多视角扩散模型的对应注意力对齐
Correspondence-Attention Alignment for Multi-View Diffusion Models
把跨视角几何对应作为注意力图的显式监督信号,只需监督单层注意力即可显著加速多视角扩散模型收敛并提升新视角合成质量,这一思路可直接迁移到任何以参考图为条件的扩散生成/编辑模型中,用于增强结构保持与视角一致性。
CoordSpeaker:利用手势描述实现协调描述赋能的多语音手势生成
CoordSpeaker: Exploiting Gesture Captioning for Coordinated Caption-Empowered Co-Speech Gesture Generation
提出基于运动-语言模型的手势描述生成框架,为扩散模型提供细粒度语义条件;其统一跨数据集运动表示与分层控制去噪器可复用于其他条件运动生成任务。
ConsID-Gen:视角一致且身份保持的图像到视频生成
ConsID-Gen: View-Consistent and Identity-Preserving Image-to-Video Generation
用无位姿辅助视角增强首帧、经双流视觉-几何编码器与文本-视觉连接器融合语义与结构线索,为 Diffusion Transformer 提供统一条件,可直接借鉴到任何需要多视角一致性的条件视频生成任务中。
概念感知低秩适配用于域对齐的分割数据集生成
Concept-Aware LoRA for Domain-Aligned Segmentation Dataset Generation
CA-LoRA 通过选择性更新与目标域概念(如风格、视角)相关的权重,在微调 T2I 模型时保留预训练知识,从而生成多样且对齐的分割数据集;该思路可复用于其他需要域对齐数据生成的视觉任务,并提升域泛化性能。
基于区域感知双模态直接偏好优化的组合式文本到图像生成
Compositional Text-to-Image Generation Via Region-aware Bimodal Direct Preference Optimization
提出区域感知的双模态直接偏好优化(BIDPO),可复用于提升扩散模型对复杂组合提示词的遵循能力,尤其是属性绑定、对象关系和计数等细粒度对齐任务。
ClusterMark:面向自回归图像生成器、基于视觉词元聚类的鲁棒水印
ClusterMark: Towards Robust Watermarking for Autoregressive Image Generators with Visual Token Clustering
对做自回归图像生成的人,这篇给出了在词元序列上嵌入可检测水印的具体做法:按视觉词元聚类划分红/绿集合来偏置下一词元预测,并证明聚类比逐词元划分更能抵抗图像扰动与再生攻击,可直接复用到 VQ 词元序列的生成框架中。
利用视觉线索的电影音频源分离
Cinematic Audio Source Separation Using Visual Cues
把视觉线索作为条件注入条件流匹配生成过程,为视觉研究者提供了一个可复用的范式:用视频帧(人脸、场景)作为条件信号去引导音频生成/分离,可迁移到其他以视觉为条件的生成任务(如视觉引导的语音增强、音效合成)。
CineScene:以隐式三维作为电影级视频生成的有效场景表示
CineScene: Implicit 3D as Effective Scene Representation for Cinematic Video Generation
用 VGGT 把静态场景图像编码成隐式三维感知特征,再以额外上下文拼接的方式注入预训练文生视频模型,实现相机轨迹可控且场景一致的视频合成;这套「隐式三维先验 + 上下文拼接」的条件注入思路可迁移到任何需要几何一致性的可控视频生成任务。
编排动态物体世界
Choreographing a World of Dynamic Objects
把 2D 视频生成模型中的欧拉表示蒸馏成拉格朗日运动信息,从而无需类别专属数据即可合成多体 4D 动态;这一「从视频先验提取运动」的蒸馏思路可直接迁移到动态场景重建、运动迁移与机器人策略生成。
ChimeraLoRA:多头LoRA引导的合成数据集
ChimeraLoRA: Multi-Head LoRA-Guided Synthetic Datasets
提出将LoRA分解为类共享A和图像特定B,并用狄利克雷系数混合生成兼具多样性与细节的合成数据,可直接用于少样本/长尾视觉任务的数据增强。
ChangeBridge:面向遥感的多模态控制时空图像生成
ChangeBridge: Spatiotemporal Image Generation with Multimodal Controls for Remote Senisng
扩散桥(diffusion bridge)用给定前事件图像作为起点替代噪声初始化,并用像素级漂移图区分事件变化与时序变化,这一「从观测状态出发、按漂移量差异化生成」的框架可直接迁移到视频预测、时序遥感与变化检测的数据增广。
面向物理合理视频生成的以事件为中心的因果思维链
Chain of Event-Centric Causal Thought for Physically Plausible Video Generation
把物理现象拆成因果相连的事件单元,再用思维链加物理公式约束推理,并转成时序对齐的视觉-语言提示与关键帧,为视频扩散模型提供可复用的因果进展条件注入方式,可直接迁移到需要长时序物理一致性的视频生成任务。
视频扩散模型中的因果性可与去噪分离
Causality in Video Diffusers is Separable from Denoising
把视频扩散模型中的时序因果推理与多步去噪解耦:用因果 Transformer 编码器每帧只做一次时序建模,再用轻量扩散解码器做逐帧多步渲染,可直接迁移到自回归视频扩散的加速与架构改造。
面向自回归动作生成的因果动作扩散模型
Causal Motion Diffusion Models for Autoregressive Motion Generation
把因果扩散强制(causal diffusion forcing)与逐帧采样调度引入潜空间扩散 Transformer,为视觉领域实现流式、低延迟的自回归序列生成(如视频、动作序列)提供了可复用的时序因果去噪范式。
Captain Safari:具有位姿对齐3D记忆的世界引擎
Captain Safari: A World Engine with Pose-Aligned 3D Memory
提出位姿对齐的持久世界记忆与检索器,为长时程、6-DoF可控视频生成提供可复用机制;OpenSafari数据集与几何/运动学验证流程可用于评估相机轨迹跟随与3D一致性。
我们能构建而非分类场景图吗?FlowSG:基于流匹配的渐进式图像条件场景图生成
Can We Build Scene Graphs, Not Classify Them? FlowSG: Progressive Image-Conditioned Scene Graph Generation with Flow Matching
把流匹配从图像生成迁移到结构化图输出:用连续速度场搬运框几何、用离散流更新类别 token,为视觉中「结构化预测当作生成任务」提供了可复用的混合离散-连续生成范式,且可插拔到现有检测器/分割器上。
CaTok:驯服平均流实现一维因果图像分词
CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization
把图像压缩成一维因果词元序列并用 MeanFlow 解码器做一步/多步采样,可直接作为视觉自回归生成的前端分词器替换方案;REPA-A 用视觉基础模型特征对齐编码器,是一种可复用的稳定训练正则化手段。
C^2FG:通过分数差异分析控制无分类器引导
C^2FG: Control Classifier-Free Guidance via Score Discrepancy Analysis
把 CFG 的引导权重从固定/启发式改为随扩散时间步指数衰减的控制函数,且免训练、即插即用,可直接替换现有条件扩散采样器中的 guidance 调度,用于提升条件生成质量并与其他引导策略正交叠加。
CTCal:通过跨时间步自校准重新审视文本到图像扩散模型
CTCal: Rethinking Text-to-Image Diffusion Models via Cross-Timestep Self-Calibration
把扩散模型内部小时间步的交叉注意力图当作显式监督信号,去校准大时间步的表征学习,是一种无需额外标注、模型无关的训练期对齐增强手段,可直接插入 SD 系列或 flow matching 模型以提升文本-图像细粒度对齐。
CREward:一种按类型划分的创意奖励模型
CREward: A Type-Specific Creativity Reward Model
提供了一种按类型(几何/材质/纹理)分解的创意奖励模型,可直接作为扩散或生成模型的偏好奖励信号,并通过 LoRA 微调引导生成更具创意的图像;其用 LVLM 标注替代人工标注构建奖励模型的流程也可迁移到其他主观属性(如美学、风格)的奖励建模。
CRAFT:对齐扩散模型,微调比你想象的更容易
CRAFT: Aligning Diffusion Models with Fine-Tuning Is Easier Than You Think
用复合奖励过滤构造小而一致的偏好数据集,再做增强版 SFT,就能以 100 个样本超越数千对偏好数据的 DPO 类方法;做扩散模型人类偏好对齐时,可把数据筛选环节当作主要杠杆,而不是堆偏好对数量。
COT-FM:簇级最优传输流匹配
COT-FM: Cluster-wise Optimal Transport Flow Matching
把目标样本聚类并为每个簇反演一个专属源分布,从而拉直流匹配的向量场——这是一个与模型架构无关的即插即用模块,可直接套到已有的图像生成/编辑流匹配模型上以减少采样步数、提升样本质量。
CG-Floor:质心引导扩散的大规模平面图生成
CG-Floor: Centroid-Guided Diffusion for Large-Scale Floorplan Generation
用质心热图作为结构化条件引导潜扩散 Transformer 生成非曼哈顿房间形状,这种「语义质心+尺寸热图」的条件编码方式可迁移到室内场景布局、矢量图形生成等需要显式解耦位置与形状的任务。
CFG-Ctrl:基于控制的免分类器扩散引导
CFG-Ctrl: Control-Based Classifier-Free Diffusion Guidance
把 CFG 重新解释为对一阶连续时间生成流的控制,并用滑模控制替代线性 P 控制,可直接替换 Stable Diffusion 3.5、Flux、Qwen-Image 等流式扩散模型中的采样引导环节,在大引导尺度下抑制过冲、提升语义对齐。
CARLoS:通过 LoRA 的简洁评估表示实现大规模检索
CARLoS: Retrieval via Concise Assessment Representation of LoRAs at Scale
用 CLIP 嵌入与基模型生成结果的差值构造 Direction/Strength/Consistency 三段式表示,为 LoRA 这类生成组件的无元数据刻画与检索提供了可复用范式,可直接迁移到视觉生成模型的适配器管理与组合检索。
CADC:内容自适应的基于扩散的生成式图像压缩
CADC: Content Adaptive Diffusion-Based Generative Image Compression
把扩散先验用于极低码率图像压缩时,可用空间不确定性图驱动量化步长、并用轻量辅助解码器约束主潜变量通道的信息保留,这套「内容自适应量化+信息集中」思路可迁移到任何需要潜变量压缩的生成式编码流程。
BulletTime:视频生成中时间与相机位姿的解耦控制
BulletTime: Decoupled Control of Time and Camera Pose for Video Generation
把世界时间与相机轨迹作为独立条件,通过注意力层中的 4D 位置嵌入和自适应归一化注入视频扩散模型,为需要精确相机运镜与慢动作/时间重映射的可控视频生成提供了可复用的条件注入方案。
连接隐私与溯源:可追溯的虚拟身份生成
Bridging Privacy and Provenance: Traceable Virtual Identity Generation
在扩散生成过程中嵌入潜空间水印以携带可验证的身份签名,并配合3D几何与表情条件保持姿态一致性,为视觉研究者提供了一种在生成人脸时兼顾身份可控性与溯源验证的可复用思路。
打破语义边界:分布引导的语义探索用于创造性生成
Breaking Semantic Boundaries: Distribution-Guided Semantic Exploration for Creative Generation
提出分布条件生成范式,将类别分布作为条件输入扩散模型,并通过视觉语言模型对齐生成图像的语义分布,为可控创造性生成提供了可复用的技术思路。
双向归一化流:从数据到噪声再返回
Bidirectional Normalizing Flow: From Data to Noise and Back
BiFlow 用可学习的逆向模型替代归一化流中严格可逆的前向变换,从而摆脱因果解码瓶颈,将采样速度提升两个数量级,为基于流的生成模型提供了一种更灵活、更快的训练与采样范式。
双向自回归扩散用于大复杂运动插值
Bi-directional Autoregressive Diffusion for Large Complex Motion Interpolation
ARVFI 将自回归生成与扩散模型结合,从两端向中间逐帧插值,并利用 DINOv3 高层语义特征作为运动表示,为视频插值中的大复杂运动提供了一种可复用的时序生成框架。
超越黄金数据:通过时间步选择性训练解决运动-视觉质量困境
Beyond the Golden Data: Resolving the Motion-Vision Quality Dilemma via Timestep Selective Training
对做视频扩散训练的人,这篇给出了一个可直接复用的数据使用策略:不必筛掉运动强但画质差(或反之)的样本,而是按时间步把不同质量倾向的数据分配到模型学习的不同阶段,从而在数据受限时仍能提升生成质量。
超越像素模拟:基于诊断语义令牌和原型控制的病理图像生成
Beyond Pixel Simulation: Pathology Image Generation via Diagnostic Semantic Tokens and Prototype Control
利用冻结的病理多模态大模型提取诊断语义令牌,并结合原型库实现细粒度形态控制,为医学图像生成提供了可复用的语义控制范式。
超越图块:面向多模态少样本字体生成的全局感知自回归模型
Beyond Patches: Global-aware Autoregressive Model for Multimodal Few-Shot Font Generation
全局感知分词器与轻量语言-风格适配器可迁移到其他需要全局一致性的自回归图像生成任务,如场景文字生成或风格化草图合成。
超越物体:面向细粒度分类的上下文合成数据生成
Beyond Objects: Contextual Synthetic Data Generation for Fine-Grained Classification
BOB 提出了一种微调 T2I 模型以生成高质量合成训练数据的策略:通过类无关属性(背景、姿态)显式条件化并在生成时边缘化,缓解过拟合并保留生成先验,可直接用于低样本细粒度分类的数据增强。
回归本源:让去噪生成模型真正去噪
Back to Basics: Let Denoising Generative Models Denoise
提出直接预测干净数据的扩散范式,使大图像块(16/32)的纯像素 Transformer 无需分词器与预训练即可生成高分辨率图像,为简化扩散训练目标与像素级生成架构提供可复用思路。
BAgger:用于缓解自回归视频扩散模型漂移的反向聚合方法
BAgger: Backwards Aggregation for Mitigating Drift in Autoregressive Video Diffusion Models
针对自回归视频扩散模型的曝光偏差问题,BAgger 用模型自身 rollout 构造纠错轨迹,并以标准 score/flow matching 目标训练,无需少步蒸馏或长链 BPTT;做长视频自回归生成或世界模型时可作为缓解误差累积的通用训练策略。
Avatar Forcing:面向自然对话的实时交互式头部虚拟人生成
Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation
扩散强制(diffusion forcing)框架将自回归生成与扩散模型结合,实现因果约束下的实时多模态条件生成;直接偏好优化(DPO)利用合成负样本进行无标签的偏好学习,可迁移到其他需要实时交互的生成任务。
AudioStory:利用大语言模型生成长篇叙事音频
AudioStory: Generating Long-Form Narrative Audio with Large Language Models
AudioStory 将 LLM 的指令分解与扩散模型的音频生成通过解耦桥接机制(桥接查询和残差查询)结合,并实现端到端训练,这种思路可迁移到视觉领域的可控长视频生成,例如利用 LLM 分解复杂叙事为时序子任务,再通过扩散模型生成连贯视频。
AudioAvatar:个性化音频驱动的全身说话头像
AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars
用3D高斯粒子变形场替代参数化姿态瓶颈,实现音频到全身高保真动画;特征级蒸馏从视频扩散模型迁移同步先验,可复用于其他音频驱动生成任务。
Archon:面向整体数字人生成的统一多模态模型
Archon: A Unified Multimodal Model for Holistic Digital Human Generation
语义视频重参数化把高保真说话视频的词元量压缩 4 倍,再配合语义驱动的视频扩散解码器还原细节,这套「先语义压缩、后扩散解码」的流程可直接迁移到任何需要长视频自回归生成的视觉任务;「Thinking in Modality」的交替模态逐步推理思路也可用于提升跨模态条件生成的保真度与可控性。
AnyID:从任意视觉参考生成超高保真通用身份保持视频
AnyID: Ultra-Fidelity Universal Identity-Preserving Video Generation from Any Visual References
提出统一异构身份输入(人脸、肖像、视频)的全参考架构与主参考生成范式,结合差分提示词实现属性级可控性,并用人类偏好数据做强化学习微调,为身份保持视频生成提供了可复用的多参考融合与可控生成思路。
锚定与重标定注意力实现语义连贯的中间帧生成
Anchoring and Rescaling Attention for Semantically Coherent Inbetweening
把关键帧与文本作为语义/时序引导注入自注意力(Keyframe-anchored Attention Bias),并用重标定的时序 RoPE 强化帧间一致性,这套无需训练的注意力调制手段可直接迁移到视频插帧、长视频生成与关键帧约束的扩散采样中。
面向多角色叙事图像生成的多方面人类偏好对齐
Aligning Multi-Character Narrative Image Generation with Multi-Aspect Human Preferences
提供了面向多角色叙事图像生成的细粒度人类偏好数据集 NI-RLHF 与可解释奖励模型 NIReward,以及按偏好维度自适应平衡的 ADPO 优化策略,可直接迁移到其他需要多维人类偏好对齐的扩散生成任务(如个性化、可控生成)的微调阶段。
生成之前先对齐图像
Align Images Before You Generate
CorrAdapter 用扩散模型中间特征自建跨图像对应关系,并通过旁路分支只聚合匹配区域的信息,为多视图/视频扩散提供了一种免训练、与基线无关的时空一致性增强手段,可直接插入现有 transformer 主干。
以离散扩散分类建模推进图像分类
Advancing Image Classification with Discrete Diffusion Classification Modeling
把扩散过程从生成图像迁移到类别标签空间,用少步扩散迭代对类别后验做去噪式推断,可作为即插即用的分类头替换标准 softmax 分类器,在图像损坏或训练数据稀缺时提升鲁棒性。
自适应视频蒸馏:缓解少步生成中的过饱和与时序坍缩
Adaptive Video Distillation: Mitigating Oversaturation and Temporal Collapse in Few-Step Generation
针对视频扩散模型蒸馏中的过饱和与时序坍缩问题,提出自适应回归损失和时序正则化损失,可直接用于改进少步视频生成模型的训练稳定性与运动真实性。
AdapTok:在一维潜空间中学习自适应且时序因果的视频分词
AdapTok: Learning Adaptive and Temporally Causal Video Tokenization in a 1D Latent Space
提出一种内容感知的视频分词器,通过块因果评分器和整数线性规划在总预算内动态分配每帧词元数,可直接用于视频生成模型的前端,提升词元效率与重建质量。
通过闭环世界建模实现视频化身中的主动智能
Active Intelligence in Video Avatars via Closed-loop World Modeling
把视频生成模型当作可交互环境,用闭环的观察-思考-行动-反思循环和结果校验来修正生成漂移,为长时程视频生成中的状态一致性问题提供了一个可复用的推理-生成耦合框架。
ActAvatar:面向说话头像的时序感知精确动作控制
ActAvatar: Temporally-Aware Precise Action Control for Talking Avatars
把提示词拆成全局基块与时序锚定的阶段块,并让浅层偏文本、深层偏音频,这一「分层模态权重」思路可直接迁移到任何音频驱动的视频生成或可控扩散模型中,用来缓解多条件相互干扰。
在极小预算下加速扩散模型训练:基于数据集蒸馏的视角
Accelerating Diffusion Model Training under Minimal Budgets: A Condensation-Based Perspective
把数据集蒸馏引入扩散模型训练:用扩散难度分数加区间采样挑出极小子集,再用语义/视觉表征增强条件信号,可在 0.8% ImageNet 上把 SiT-XL/2 训练步数压到 40k,为低预算下的扩散训练提供可直接复用的数据侧加速方案。
一个风格只值一个编码:用离散风格空间解锁编码到风格的图像生成
A Style is Worth One Code: Unlocking Code-to-Style Image Generation with Discrete Style Space
把风格压缩成离散码本中的嵌入,再用自回归模型建模其分布,从而用单个数字码控制 T2I 扩散模型生成风格——这套「离散风格码本 + 自回归采样」的范式可直接迁移到个性化生成、风格 LoRA 替代方案等需要可复现、可枚举风格控制的任务。
一帧只需一个词元:用 Delta 词元进行高效生成式世界建模
A Frame is Worth One Token: Efficient Generative World Modeling with Delta Tokens
把相邻帧的 VFM 特征差压缩成单个连续 delta 词元,将视频从三维时空表示降为一维时序序列,这一分词思路可直接复用于视频预测、特征空间生成建模与高效多假设采样。
面向视角自适应人体视频生成的3D感知隐式运动控制
3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation
提出一种隐式、视角无关的运动表示,通过与预训练视频生成器联合训练运动编码器,实现文本驱动的相机控制和新视角合成,为可控人体视频生成提供了不依赖显式3D模型的新思路。