Tag · 6 篇
缓存复用
VDE:通过速度分解与估计实现整流流模型的免训练加速
VDE: Training-Free Accelerating Rectified Flow Model via Velocity Decomposition and Estimation
把整流流模型的速度场拆成平行/正交分量做输入自适应估计,替代静态特征缓存,可直接套到 Flux、Qwen-Image 等扩散/流匹配采样器上做免训练少步加速。
SODA:面向敏感性的扩散 Transformer 动态加速
SODA: Sensitivity-Oriented Dynamic Acceleration for Diffusion Transformer
对做扩散 Transformer 采样加速的人,这篇给出了一个可复用的思路:用离线敏感性误差建模(跨时间步、层、模块)作为代价函数,用动态规划求最优缓存间隔,并在剪枝与缓存复用时按 token 敏感性自适应决定剪枝时机与比例,可直接嵌入现有 DiT 推理管线以在可控加速比下提升保真度。
ResCa:面向扩散 Transformer 加速的残差缓存
ResCa: Residual Caching for Diffusion Transformers Acceleration
把「代理去噪」思路用于扩散 Transformer 的推理加速:在每个轨迹聚类内只对一个代理词元做真实去噪,再用其多阶残差模拟其余词元的去噪,从而在保持自洽且更新的去噪轨迹下大幅削减 GFLOPs,可直接套用到 DiT/FLUX/视频生成模型的采样环节。
面向扩散 Transformer 的区域自适应采样
Region-Adaptive Sampling for Diffusion Transformers
对做扩散 Transformer 推理加速的人,这篇给出了一个可直接套用的免训练策略:用上一步输出判定 DiT 关注的语义区域,只对这些区域对应的词元做前向更新,其余词元复用缓存噪声,从而在 Stable Diffusion 3、Lumina-Next-T2I 上取得 2 倍以上加速;该「按区域分配更新比例」的思路可迁移到视频 DiT 与可控生成管线中。
通过层级词元压缩加速流式视频大语言模型
Accelerating Streaming Video Large Language Models via Hierarchical Token Compression
STC 的层级词元压缩思路可直接用于任何流式视频视觉语言模型:在 ViT 端缓存并复用时序相似帧的特征,在 LLM 预填充前按时空相关性剪枝视觉词元,从而在不重训练的情况下降低延迟,适合实时视频理解部署。
通过历史引导缓存与残差校正加速自回归视频扩散
Accelerating Autoregressive Video Diffusion via History-Guided Cache and Residual Correction
对做自回归视频扩散的人,这篇给出了一个免训练、即插即用的缓存调度与残差校正方案:用历史片段自适应决定每段何时复用缓存,并对后续片段修正残差轨迹,从而抑制长视频生成中的误差累积,可直接套用到 FramePack、SkyReels 这类分段生成管线上。