Tag · 43 篇
少步采样
一次擦除即止:擦除任意目标而不引入意外内容
You Only Erase Once: Erasing Anything without Bringing Unexpected Content
用实体分割模型构建的杂物检测器与上下文一致性损失,在无配对真实图像上监督扩散模型做目标擦除,可直接迁移到 inpainting/物体移除任务的数据构造与约束设计;扩散蒸馏得到的少步擦除模型也为编辑类扩散模型的推理加速提供参考。
面向快速视频生成的转移匹配蒸馏
Transition Matching Distillation for Fast Video Generation
把扩散/流模型的骨干网络拆成「主骨干 + 轻量 flow head」,在每个外层转移步内用 flow head 做多次内层流更新,再配合分布匹配蒸馏,可作为一种通用的少步蒸馏结构复用到图像或视频扩散加速上。
免训练、感知一致的低分辨率预览与高分辨率图像:面向扩散模型高效工作流
Training-free, Perceptually Consistent Low-Resolution Previews with High-Resolution Image for Efficient Workflows of Diffusion Models
对做扩散/流匹配采样加速的人,这篇给出一个免训练的「commutator-zero」条件:通过选择下采样矩阵并施加引导,让低分辨率预览与高分辨率结果在感知上保持一致,可直接作为 HR 生成前的候选筛选环节,与现有少步/蒸馏加速叠加还能再拿 3 倍加速。
TC-Pade:面向扩散加速的轨迹一致 Padé 逼近
TC-Pade: Trajectory-Consistent Pade Approximation for Diffusion Acceleration
用有理函数(Padé 逼近)替代 Taylor 类多项式外推来做扩散模型的特征缓存预测,并配合自适应系数调制与分阶段预测策略,可直接嵌入 DiT/FLUX/Wan 等视觉生成骨干,在 20-30 步低步数区间实现约 2-3 倍采样加速而不掉画质。
StreamDiT:实时流式文本到视频生成
StreamDiT: Real-Time Streaming Text-to-Video Generation
把流匹配训练与移动缓冲区结合,使 DiT 能逐块流式生成视频;配套的分段多步蒸馏把 NFE 压到缓冲区块数,为视觉研究者提供了把任意扩散/流模型转成实时流式生成器的可复用范式。
SeaCache:面向扩散模型加速的频谱演化感知缓存
SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models
对做扩散/流匹配采样加速的人,可直接把「频谱演化先验」当作缓存复用判据:用 SEA 滤波器滤掉高频噪声后再算相邻时间步特征距离,替代原始特征差,从而在不训练的情况下自适应决定哪些步可以跳过。
SURF:保留签名的快速视频生成
SURF: Signature-Retained Fast Video Generation
提出免训练的 noise reshifting:先在原分辨率做前几步去噪再切到低分辨率,避免高分辨率模型在低分辨率推理时的签名损失;配合预览-精修两阶段与窗口移位 Refiner,可作为插件套到任意视频扩散基座与加速方法上,做高分辨率视频生成的即插即用加速。
奖励强制:基于奖励分布匹配蒸馏的高效流式视频生成
Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation
用 EMA 融合被逐出滑动窗口的 token 替代静态 sink token,解决少步蒸馏流式视频生成中初始帧复制、运动退化的问题;再用 VLM 打分构造奖励偏置的分布匹配蒸馏,把教师模型的运动动态蒸馏进学生模型,可直接迁移到任何流式/长视频扩散蒸馏管线。
通过强化学习精炼少步文本到多视图扩散模型
Refining Few-Step Text-to-Multiview Diffusion via Reinforcement Learning
把少步 T2MV 扩散的 RL 微调建模为联合多视图 MDP,并用自精炼采样构造优势信号、用拉格朗日对偶平衡单视图保真与跨视图一致性,可直接迁移到任何需要多输出协同一致性的少步扩散/流模型微调场景。
PyramidalWan:让预训练视频模型金字塔化以实现高效推理
PyramidalWan: On Making Pretrained Video Model Pyramidal for Efficient Inference
把已预训练的视频扩散模型通过低成本微调改造成金字塔式多分辨率去噪结构,可直接复用于任何多步扩散采样器以降低推理算力;其金字塔内步数蒸馏策略对比也为少步视频生成提供可借鉴的加速路线。
PnP-CM:一致性模型作为逆问题的即插即用先验
PnP-CM: Consistency Models as Plug-and-Play Priors for Inverse Problems
将一致性模型视为先验的近端算子,嵌入ADMM即插即用框架,为视觉逆问题(如MRI重建、超分、去模糊)提供无需任务特定训练、仅需2-4步NFE的通用求解器。
物理一致的扩散模型:通过多尺度残差校正实现高效流体超分辨率
Physics-Consistent Diffusion for Efficient Fluid Super-Resolution via Multiscale Residual Correction
把多网格残差校正与多小波多尺度基嵌入扩散逆向过程,可在少步采样下保持谱保真并抑制伪散度,这一思路可迁移到其他受物理方程约束的图像复原任务(如PIV/流场重建、遥感反演)中作为采样加速与物理一致性约束的通用插件。
分阶段 DMD:基于子区间内分数匹配的少步分布匹配蒸馏
Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals
把 SNR 区间切分并逐段做分布匹配与分数匹配蒸馏,配合 MoE 提升少步生成器容量,可直接用于把大规模文生图/文生视频扩散模型压缩成少步采样器,同时缓解随机梯度截断带来的多样性下降与运动动态变慢问题。
PersonaLive!面向直播的富有表现力肖像图像动画
PersonaLive! Expressive Portrait Image Animation for Live Streaming
面向实时流媒体场景,用少步外观蒸馏压缩去噪步数、用自回归微块流式生成加滑动训练与历史关键帧机制保证长时稳定,这套「蒸馏提速 + 分块流式」组合可直接迁移到其他需要低延迟长视频生成的扩散模型上。
PS-SR:基于投机扩散的伪单步视频超分辨率
PS-SR: Pseudo-Single-Step Video Super-Resolution via Speculative Diffusion
把「单步扩散 + 轻量草稿模型投机式精修」的非对称采样流程用于视频超分,并用频域更新规则把精修限制在高频注入上,为少步扩散复原提供了一条兼顾速度与细节的可复用思路。
MixFlow 训练:以减速插值混合缓解暴露偏差
MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture
针对扩散模型训练-测试不一致(暴露偏差)问题,提出用「减速时间步」上的真实插值混合来后训练预测网络,可直接套用到 SiT、REPA、RAE 等扩散/流匹配骨干上,在 ImageNet 256/512 上把 FID 压到 1.1 左右,是提升现有生成模型采样质量的即插即用后训练手段。
基于表征自编码器的 MeanFlow Transformer
MeanFlow Transformers with Representation Autoencoders
将 MeanFlow 的潜空间训练迁移到 DINO 等预训练视觉编码器的表征自编码器潜空间,并给出稳定训练的两阶段蒸馏方案,为视觉生成模型提供更高效、无需引导的少步采样路径。
掩码自回归变分加速:快速推理使强化学习变得实用
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
把 MAR 的「外层自回归解掩码 + 内层扩散去噪链」两级推理蒸馏成单步生成,并用基于分数的变分目标保住样本质量;做少步扩散/自回归生成或想把 RL 后训练接到生成模型上的人可直接复用该蒸馏目标与 MARVAL-RL 流程。
LogCD:面向少步图像生成的局部到全局一致性蒸馏
LogCD: Local-to-global Consistency Distillation for Few-step Image Generation
两阶段局部到全局一致性蒸馏把 SDXL 这类潜扩散/整流流模型压到 2–4 步采样,且单模型可在步数间无缝切换,可直接复用到任何需要少步高保真生成的视觉管线(如实时文生图、编辑前置生成器)。
LIFT 与 PLACE:一个简单、稳定且有效的轻量扩散模型知识蒸馏框架
LIFT and PLACE: A Simple, Stable, and Effective Knowledge Distillation Framework for Lightweight Diffusion Models
把教师扩散模型复杂的去噪轨迹拆成「粗对齐 + 精修」两阶段,并用按误差分组的分段局部自适应系数做空间非均匀引导,可直接用于把大 U-Net/DiT 扩散模型蒸馏到极小参数量学生模型(1.3M 参数仍收敛到 FID 15.73),是少步/轻量扩散部署的可复用训练配方。
基于一致性求解器的图像扩散预览
Image Diffusion Preview with Consistency Solver
把扩散采样器本身当作可训练的高阶线性多步求解器,用强化学习直接优化少步预览质量与预览-终稿一致性,可作为即插即用的采样器替换 DPM-Solver 类求解器,用于交互式生成与预览-精修流程。
GeoRK2:面向扩散 Transformer 加速的几何引导 Runge-Kutta 积分
GeoRK2: Geometry-Guided Runge-Kutta Integration for Diffusion Transformer Acceleration
把二阶 Runge-Kutta 积分器与由噪声预测导出的曲率感知几何流结合,用激活协方差估计特征度量来约束大步长下的误差传播,可直接替换现有 DiT/视频扩散模型的采样器,实现免训练 4-5 倍加速。
FlowSteer:以真实轨迹引导少步图像合成
FlowSteer: Guiding Few-Step Image Synthesis with Authentic Trajectories
把 ReFlow 蒸馏从「点对点回归」改成沿教师真实 ODE 轨迹对齐,并给出 FlowMatchEulerDiscreteScheduler 的少步推理缺陷修复,可直接用于 SD3 类流模型的少步加速训练与采样器实现。
无需数据的流映射蒸馏
Flow Map Distillation Without Data
把流映射蒸馏的数据依赖替换为仅从先验分布采样,并显式校正学生沿采样路径的累积误差,可直接用于把任意预训练扩散/流模型压到 1 步采样而不需要外部数据集。
FlashMotion:基于轨迹引导的少步可控视频生成
FlashMotion: Few-Step Controllable Video Generation with Trajectory Guidance
将多步轨迹可控视频生成器蒸馏为少步版本,并设计扩散+对抗混合目标微调轨迹适配器,可直接复用于任何需要加速的可控视频生成管线;同时提出的 FlashBench 提供了长序列轨迹精度评测协议。
FlashIn:面向实时图像编辑的快速精确图像反演
FlashIn: Fast and Accurate Image Inversion for Real-time Image Editing
把图像到初始噪声的映射做成可学习网络,用循环一致与对抗训练实现单步精确反演,可直接替换现有编辑流程中耗时的迭代反演环节,配合少步扩散模型做到秒级交互编辑。
Flash-DMD:以高效蒸馏与联合强化学习实现高保真少步图像生成
Flash-DMD: Towards High-Fidelity Few-Step Image Generation with Efficient Distillation and Joint Reinforcement Learning
把持续进行的时间步蒸馏损失当作正则项与 RL 目标联合训练,可稳定少步扩散模型的偏好微调并抑制奖励黑客;该联合训练范式可直接迁移到任何需要人类偏好对齐的少步图像生成器。
FastLightGen:更少步数与参数的高效轻量视频生成
FastLightGen: Fast and Light Video Generation with Fewer Steps and Parameters
把「少步采样蒸馏」与「参数剪枝」放进同一个教师-学生框架里联合优化,并指出先构造一个最优教师模型是关键;做视频扩散加速时可以直接复用这套联合蒸馏流程与 4 步 + 30% 剪枝的配置经验。
FMPose3D:基于流匹配的单目三维姿态估计
FMPose3D: monocular 3D pose estimation via flow matching
把流匹配的少步 ODE 采样引入单目 3D 姿态估计,用不同噪声种子生成多假设、再用重投影后验期望聚合出单一结果,可直接迁移到任何存在深度歧义的 2D→3D 生成式回归任务(手部、动物、物体 6D 位姿)。
阐明基于任意噪声的扩散模型的设计空间
Elucidating the Design Space of Arbitrary-Noise-Based Diffusion Models
将扩散模型的设计空间从固定高斯噪声推广到任意噪声模式,为图像复原任务提供了一种可减少复原距离、且不增加计算开销的通用框架,可直接用于去噪、去伪影等底层视觉问题。
DiverseDiT:面向扩散 Transformer 中多样化表征学习
DiverseDiT: Towards Diverse Representation Learning in Diffusion Transformers
对做 DiT 图像生成的人,这篇给出了一个可直接插入任意 DiT 主干的正则手段:跨块长残差连接 + 表征多样性损失,用来替代或补充 REPA 式外部编码器对齐,并报告了收敛加速与一步生成下的收益。
DisCa:面向视频扩散 Transformer 的蒸馏兼容可学习特征缓存加速
DisCa: Accelerating Video Diffusion Transformers with Distillation-Compatible Learnable Feature Caching
用轻量可学习神经预测器替代无训练启发式特征缓存,并与步数蒸馏联合优化,可直接迁移到任意视频扩散 Transformer 的少步推理管线中以降低采样开销。
DiP:在像素空间中驯服扩散模型
DiP: Taming Diffusion Models in Pixel Space
把高分辨率像素空间扩散拆成「大图像块上的全局结构 + 轻量细节检测头恢复局部细节」两阶段,可在不依赖 VAE 的前提下把像素空间扩散的推理成本压到 LDM 水平,做高分辨率图像生成或想摆脱 VAE 信息损失时可直接复用这一解耦范式。
通过REINFORCE与James-Stein收缩设计实例级采样时间表
Designing Instance-Level Sampling Schedules via REINFORCE with James-Stein Shrinkage
提出一种模型无关的后训练方法,通过单次Dirichlet策略学习实例级采样时间表,并利用James-Stein估计器构建奖励基线以降低梯度方差,可即插即用地提升冻结文本到图像扩散模型的文本对齐和少步生成质量。
DRiffusion:草稿-精炼过程轻松并行化扩散模型
DRiffusion: Draft-and-Refine Process Parallelizes Diffusion Models with Ease
通过 skip transition 并行生成未来时间步的草稿状态再统一去噪精炼,是一种与具体扩散骨干解耦的并行采样加速手段,可直接套用到图像/视频扩散模型的推理管线中以降低延迟。
DDT:解耦扩散 Transformer
DDT: Decoupled Diffusion Transformer
把扩散 Transformer 的编码器与速度解码器解耦,让编码器专注低频语义、解码器专注高频细节,可直接迁移到任何 DiT 类骨干(如 DiT、SiT、UViT)以加速收敛;其相邻去噪步共享自条件的统计动态规划策略,也为少步推理与缓存复用提供了可复用的调度思路。
DBMSolver:面向高质量图像到图像翻译的免训练扩散桥采样器
DBMSolver: A Training-free Diffusion Bridge Sampler for High-Quality Image-to-Image Translation
把扩散桥 SDE/ODE 的半线性结构用指数积分器求解,得到免训练的一阶/二阶采样器,可直接替换现有 DBM 的采样环节,在 20 NFE 内把 FID 降低一半以上,适合需要低延迟的 I2I 翻译与修复流程。
COT-FM:簇级最优传输流匹配
COT-FM: Cluster-wise Optimal Transport Flow Matching
把目标样本聚类并为每个簇反演一个专属源分布,从而拉直流匹配的向量场——这是一个与模型架构无关的即插即用模块,可直接套到已有的图像生成/编辑流匹配模型上以减少采样步数、提升样本质量。
双向归一化流:从数据到噪声再返回
Bidirectional Normalizing Flow: From Data to Noise and Back
BiFlow 用可学习的逆向模型替代归一化流中严格可逆的前向变换,从而摆脱因果解码瓶颈,将采样速度提升两个数量级,为基于流的生成模型提供了一种更灵活、更快的训练与采样范式。
BiFM:面向少步图像编辑与生成的双向流匹配
BiFM: Bidirectional Flow Matching for Few-Step Image Editing and Generation
把「图像→噪声」的反演方向也纳入流匹配训练,用共享瞬时速度场与连续时间区间监督实现单步反演,可直接替换现有少步编辑管线中的反演模块,提升少步采样下的编辑保真度。
超越固定公式:面向高效扩散模型的数据驱动线性预测器
Beyond Fixed Formulas: Data-Driven Linear Predictor for Efficient Diffusion Models
把手工设计的 Taylor 式特征外推系数换成按时间步学习的线性权重,只需少量缓存轨迹、单卡约 20 秒即可训好,可直接插到 DiT/FLUX/Qwen-Image 等现有采样管线上做免训练加速,是特征缓存类加速方法的一个即插即用替换件。
以离散扩散分类建模推进图像分类
Advancing Image Classification with Discrete Diffusion Classification Modeling
把扩散过程从生成图像迁移到类别标签空间,用少步扩散迭代对类别后验做去噪式推断,可作为即插即用的分类头替换标准 softmax 分类器,在图像损坏或训练数据稀缺时提升鲁棒性。
自适应视频蒸馏:缓解少步生成中的过饱和与时序坍缩
Adaptive Video Distillation: Mitigating Oversaturation and Temporal Collapse in Few-Step Generation
针对视频扩散模型蒸馏中的过饱和与时序坍缩问题,提出自适应回归损失和时序正则化损失,可直接用于改进少步视频生成模型的训练稳定性与运动真实性。