Tag · 40 篇
免训练加速
VLM-Pruner：在高效 VLM 离心式词元剪枝范式中为空间稀疏性引入缓冲机制
VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm
提出免训练的视觉词元剪枝范式：用离心式由近及远的选择配合空间稀疏缓冲准则，避免保留词元过度稀疏而漏掉目标区域，可直接套用到任意 VLM 的视觉编码器输出上做推理加速。
VDE：通过速度分解与估计实现整流流模型的免训练加速
VDE: Training-Free Accelerating Rectified Flow Model via Velocity Decomposition and Estimation
把整流流模型的速度场拆成平行/正交分量做输入自适应估计，替代静态特征缓存，可直接套到 Flux、Qwen-Image 等扩散/流匹配采样器上做免训练少步加速。
TransPrune：面向高效大型视觉语言模型的词元变化剪枝
TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model
对做 LVLM 视觉侧推理加速的人，可直接复用「词元表征在模块间传播时的幅值与方向变化」作为重要性信号，替代有位置偏置的注意力/相似度准则，且免训练即可插到 LLaVA、Qwen2.5-VL 等架构中。
免训练、感知一致的低分辨率预览与高分辨率图像：面向扩散模型高效工作流
Training-free, Perceptually Consistent Low-Resolution Previews with High-Resolution Image for Efficient Workflows of Diffusion Models
对做扩散/流匹配采样加速的人，这篇给出一个免训练的「commutator-zero」条件：通过选择下采样矩阵并施加引导，让低分辨率预览与高分辨率结果在感知上保持一致，可直接作为 HR 生成前的候选筛选环节，与现有少步/蒸馏加速叠加还能再拿 3 倍加速。
免训练混合分辨率潜变量上采样用于空间加速扩散 Transformer
Training-free Mixed-Resolution Latent Upsampling for Spatially Accelerated Diffusion Transformers
提出一种免训练的空间加速框架，通过区域自适应潜变量上采样和噪声-时间步匹配，在保持生成质量的同时显著加速扩散 Transformer，可复用于高分辨率图像生成等任务。
基于局部与全局上下文优化的词元缩减：面向高效视频大语言模型
Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models
面向视频大语言模型的免训练词元压缩：用注意力引导的帧内/帧间锚点加最优传输，把被剪词元的信息聚合进锚点，可直接套用到任何视频 LLM 的视觉编码器与 LLM 之间，降低视觉词元数而不丢时序细节。
StreamingTOM：面向高效视频理解的流式词元压缩
StreamingTOM: Streaming Token Compression for Efficient Video Understanding
提出免训练的两阶段词元压缩框架，在LLM前通过因果时序缩减减少每帧预填充成本，在LLM后通过4位量化内存管理KV缓存，为流式视频理解提供可预测延迟和有限内存的解决方案。
SparVAR：探索视觉自回归建模中的稀疏性以实现免训练加速
SparVAR: Exploring Sparsity in Visual AutoRegressive Modeling for Training-Free Acceleration
SparVAR 提出免训练的稀疏注意力机制，利用 VAR 模型中的注意力汇、跨尺度激活相似性和局部性，动态预测高分辨率尺度的稀疏模式，并实现高效块稀疏核，可将 8B 模型生成 1024x1024 图像的时间降至 1 秒，为视觉自回归生成模型提供通用加速方案。
面向视觉 Transformer 的显著性驱动词元合并
Saliency-Driven Token Merging for Vision Transformers
提供了一种免训练的词元合并策略：利用输入图块的潜在视觉显著性统计量判断哪些词元与全局梯度方向不一致，从而安全合并，可直接插入任意 ViT 主干以降低浮点运算量，无需微调。
SURF：保留签名的快速视频生成
SURF: Signature-Retained Fast Video Generation
提出免训练的 noise reshifting：先在原分辨率做前几步去噪再切到低分辨率，避免高分辨率模型在低分辨率推理时的签名损失；配合预览-精修两阶段与窗口移位 Refiner，可作为插件套到任意视频扩散基座与加速方法上，做高分辨率视频生成的即插即用加速。
SODA：面向敏感性的扩散 Transformer 动态加速
SODA: Sensitivity-Oriented Dynamic Acceleration for Diffusion Transformer
对做扩散 Transformer 采样加速的人，这篇给出了一个可复用的思路：用离线敏感性误差建模（跨时间步、层、模块）作为代价函数，用动态规划求最优缓存间隔，并在剪枝与缓存复用时按 token 敏感性自适应决定剪枝时机与比例，可直接嵌入现有 DiT 推理管线以在可控加速比下提升保真度。
ResCa：面向扩散 Transformer 加速的残差缓存
ResCa: Residual Caching for Diffusion Transformers Acceleration
把「代理去噪」思路用于扩散 Transformer 的推理加速：在每个轨迹聚类内只对一个代理词元做真实去噪，再用其多阶残差模拟其余词元的去噪，从而在保持自洽且更新的去噪轨迹下大幅削减 GFLOPs，可直接套用到 DiT/FLUX/视频生成模型的采样环节。
面向扩散 Transformer 的区域自适应采样
Region-Adaptive Sampling for Diffusion Transformers
对做扩散 Transformer 推理加速的人，这篇给出了一个可直接套用的免训练策略：用上一步输出判定 DiT 关注的语义区域，只对这些区域对应的词元做前向更新，其余词元复用缓存噪声，从而在 Stable Diffusion 3、Lumina-Next-T2I 上取得 2 倍以上加速；该「按区域分配更新比例」的思路可迁移到视频 DiT 与可控生成管线中。
RAPID：面向高效视频扩散的跨步自适应注意力稀疏复用
RAPID: Reusing Attention Sparsity with Inter-step Adaptation for Efficient Video Diffusion
把视频扩散中 3D 注意力的稀疏模式当作可缓存的时序稳定信号：在生成早期做一次注意力块重要性估计并缓存稀疏掩码，后续步骤直接复用，从而免去逐步重算的开销；这套「一次性估计 + 跨步复用」思路可直接迁移到任何 DiT 类视频/图像生成模型的推理加速上。
Prune2Drive：面向自动驾驶视觉语言模型加速的即插即用框架
Prune2Drive: A Plug-and-Play Framework for Accelerating Vision-Language Models in Autonomous Driving
面向多视图 VLM 的即插即用视觉词元剪枝：用多样性感知选择保证跨视图语义/空间覆盖，并用视图自适应控制器按相机重要性学习剪枝比例，且不依赖注意力图、无需重训练，可直接套到自动驾驶多相机 VLM 的预填充阶段省算力。
ParallelVLM：基于视觉对齐感知并行推测解码的无损视频大模型加速
ParallelVLM: Lossless Video-LLM Acceleration with Visual Alignment Aware Parallel Speculative Decoding
提出免训练的并行推测解码框架，通过无偏验证器引导剪枝对齐草稿与目标模型，将视频词元剪枝与推测解码结合，为视频大模型的长视频推理提供可复用的加速方案。
Otil：通过通信高效的多 GPU 并行加速扩散模型推理
Otil: Accelerating Diffusion Model Inference via Communication-Efficient Multi-GPU Parallelism
对做扩散模型高分辨率/视频生成的研究者，这是一种即插即用的多卡并行推理方案：利用相邻去噪步潜变量变化微小的性质，只同步信息量最大的潜变量子块并周期性轮询全部空间区域，可在不改架构、不重训的前提下把 GPU 间通信降低最多 87.5%，与少步采样器和低秩适配叠加后进一步提速。
OmniZip：面向快速全模态大模型的语言模型音频引导动态词元压缩
OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models
对做视频多模态理解的人，这套「用音频显著性动态决定视频词元保留率」的免训练压缩流程可以直接插到任意 OmniLLM 的视觉编码器之后，作为长视频词元预算分配的可复用策略；其按时间组计算信息密度再交错时空剪枝的做法，也可迁移到纯视觉视频 LLM 的帧级词元裁剪。
MeToM：元数据引导的词元合并实现高效视频大语言模型
MeToM: Metadata-Guided Token Merging for Efficient Video LLMs
对做视频多模态推理加速的人，这篇给出了一个免训练、可直接插到现有 VLLM 上的词元预算分配思路：用编解码器元数据（残差、GoP 包大小）估计空域/时域信息密度，在 tokenization、跨帧分配、LLM 内部三层分别做合并，可直接复用于任何多帧视觉编码器的 prefill 降本。
LazyVAR：通过尺度级词元剪枝与并行分组解码加速视觉自回归模型
LazyVAR: Accelerating Visual Autoregressive Models via Scale-wise Token Pruning and Parallel Group Decoding
对做视觉自回归生成的研究者，这篇给出了一个免训练、即插即用的加速范式：用相邻尺度聚合潜变量特征的相似度作为尺度更新指数来指导剪枝，并在大尺度上并行解码跨尺度词元，可直接套用到 VAR/Infinity 类模型的推理管线中。
LESA：面向扩散模型加速的可学习阶段感知预测器
LESA: Learnable Stage-Aware Predictors for Diffusion Model Acceleration
把扩散采样中的特征缓存从「简单复用/免训练外推」升级为「按噪声阶段分专家、用 KAN 学习时序特征映射」的可训练预测器，可直接套用到 DiT 类图像/视频生成模型的推理加速上，在 FLUX、Qwen-Image、HunyuanVideo 上验证了 5–6 倍加速且质量几乎不掉。
恰逢其时：面向扩散 Transformer 的免训练空间加速
Just-in-Time: Training-Free Spatial Acceleration for Diffusion Transformers
JiT 把扩散 Transformer 的采样加速从时间维度转到空间维度：只对动态选出的稀疏锚 token 计算 ODE，再用确定性 micro-flow 把新增 token 平滑接入潜变量，可直接套用到 FLUX、DiT 类骨干上做免训练推理加速。
Hi-Lo Prune：在剪枝之前先看清将失去什么的分层词元选择方法
Hi-Lo Prune: Look at What You'll Lose before Pruning with Hierarchical Token Selection
对做多模态大模型视觉侧推理加速的人，这篇给出了一个可直接复用的三段式流程：先用由粗到细的分层选择挑出冗余词元与待剪候选，再在 LLM 前几层用注意力把候选词元的信息显式迁移到保留词元上，最后在指定层一次性移除，从而支持激进的高比例早期剪枝而无需微调。
HeSS：用于 VGGT 稀疏性重分配的检测头敏感度分数
HeSS: Head Sensitivity Score for Sparsity Redistribution in VGGT
对做 3D 重建/前馈几何模型的人，这篇给出了一个可直接套用的检测头级稀疏预算再分配方案：用小型校准集上的 Hessian 近似给每个注意力检测头打敏感度分，再按分数非均匀分配注意力预算，从而在 VGGT 这类全局注意力主干上以训练-free 方式换取高稀疏下的精度保持。
HTTM：用于加速 VGGT 的逐头时序词元合并
HTTM: Head-wise Temporal Token Merging for Faster VGGT
HTTM 提出一种免训练的词元合并方法，利用多头注意力中每个头的空间局部性和时序对应关系，在保持特征独特性的同时大幅降低 VGGT 的推理延迟，可复用于其他基于全局注意力的 3D 重建或视频理解模型。
HAWK：多模态模型中头重要性感知的视觉词元剪枝
HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models
对做多模态视觉理解的人，这篇给出了一个免训练、即插即用的视觉词元剪枝方案：用注意力头重要性权重加权文本引导的注意力来打分并保留任务相关词元，可直接套到任意 MLLM 的视觉编码器到 LLM 的投影环节上，在剪掉 80% 视觉词元时仍保住 96% 精度。
从草图到湿壁画：渐进分辨率的 Efficient 扩散 Transformer
From Sketch to Fresco: Efficient Diffusion Transformer with Progressive Resolution
把「低分辨率起草 + 高分辨率精修」做成跨阶段对齐同一目标的免训练采样框架，可直接套到 FLUX、HunyuanVideo 等 DiT 上，并与蒸馏、量化、特征缓存正交叠加，是降低迭代采样成本的可复用加速手段。
预测主成分、稳定残差：面向扩散 Transformer 的子空间感知特征缓存
Forecast the Principal, Stabilize the Residual: Subspace-Aware Feature Caching for Diffusion Transformers
对做扩散 Transformer 采样加速的人，可直接把 SVD 分解 + 主/残差子空间差异化预测（主成分 EMA 预测、残差直接复用）作为免训练缓存策略，替换现有均匀缓存，并可与蒸馏、量化、稀疏注意力叠加。
EarlyTom：早期词元压缩实现快速视频理解
EarlyTom: Early Token Compression Completes Fast Video Understanding
把视觉词元压缩从预填充后段前移到视觉编码器内部，并给出解耦的空间词元选择策略，可直接复用到任何 Video-LLM 的视觉编码器前端以降低 TTFT 与浮点运算量。
CoIn：面向高效大型多模态模型的覆盖度与信息量引导词元削减
CoIn: Coverage and Informativeness-Guided Token Reduction for Efficient Large Multimodal Models
把视觉词元裁剪建模为「信息量 + 覆盖度」的联合最优子集选择，用基于体积的覆盖度准则保证特征空间全局代表性，且与 kernel 级推理加速器兼容——做 LMM 推理加速或多模态 token 压缩时可直接替换 importance-only 或 pairwise 去冗余的选 token 策略。
Co-Me：面向视觉几何 Transformer 的置信度引导词元合并
Co-Me: Confidence Guided Token Merging for Visual Geometric Transformers
对做多视图/流式几何 Transformer（VGGT、Pi3）的人，这是一种即插即用的免训练加速手段：用轻量置信度预测器给词元排序并合并低置信词元，在保持空间覆盖的同时把序列长度带来的算力开销压下来，可直接用于实时 3D 感知与重建的部署。
面向高效多视图几何 Transformer 的块稀疏全局注意力
Block-Sparse Global Attention for Efficient Multi-View Geometry Transformers
把稠密全局注意力换成免训练的块稀疏注意力，可直接插到 VGGT、π³、MapAnything 这类前馈多视图重建 Transformer 中，在几乎不掉性能的前提下把大图集推理加速 3 倍以上，是处理大规模多视图输入时一个即插即用的效率手段。
BiGain：面向生成与分类联合任务的统一词元压缩
BiGain: Unified Token Compression for Joint Generation and Classification
对做扩散模型加速的人，这篇给出了一个免训练、即插即用的词元压缩方案：用拉普拉斯门控的词元合并保留高频边缘纹理，用最近邻与平均池化之间的可控内插外推来压缩 KV，从而在同等加速比下同时保住生成质量与判别能力，可直接套用到 DiT/U-Net 骨干的推理管线中。
超越固定公式：面向高效扩散模型的数据驱动线性预测器
Beyond Fixed Formulas: Data-Driven Linear Predictor for Efficient Diffusion Models
把手工设计的 Taylor 式特征外推系数换成按时间步学习的线性权重，只需少量缓存轨迹、单卡约 20 秒即可训好，可直接插到 DiT/FLUX/Qwen-Image 等现有采样管线上做免训练加速，是特征缓存类加速方法的一个即插即用替换件。
自适应谱特征预测用于扩散采样加速
Adaptive Spectral Feature Forecasting for Diffusion Sampling Acceleration
把去噪器潜变量特征视为随时间变化的函数，用切比雪夫多项式加岭回归做全局长程预测，可在不训练的前提下替换现有特征缓存复用策略，直接用于 DiT 类图像/视频扩散模型的少步采样加速。
AdaCluster：面向视频生成的稀疏注意力自适应查询-键聚类
AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation
对做视频扩散 Transformer 推理加速的人，这篇给出了一个免训练的稀疏注意力方案：对 query 用保角相似度的聚类、对 key 用保欧氏相似度的聚类，并配合按阈值自适应确定簇数与关键簇选择，可直接套到 CogVideoX、HunyuanVideo、Wan 等 DiT 主干上换取 1.67x–4.31x 加速。
通过层级词元压缩加速流式视频大语言模型
Accelerating Streaming Video Large Language Models via Hierarchical Token Compression
STC 的层级词元压缩思路可直接用于任何流式视频视觉语言模型：在 ViT 端缓存并复用时序相似帧的特征，在 LLM 预填充前按时空相关性剪枝视觉词元，从而在不重训练的情况下降低延迟，适合实时视频理解部署。
通过异构缓存加速基于扩散的视频编辑：超越在采样去噪时间步上的全量计算
Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep
对做视频扩散编辑的人，HetCache 提供了一种免训练、可插拔的 DiT 推理加速手段：按空间先验把时空 token 分为上下文 token 与生成 token，只缓存与生成 token 相关性最强的上下文 token，从而跳过冗余注意力计算，可直接套用到 MV2V 类编辑管线以降低延迟与浮点运算量。
通过历史引导缓存与残差校正加速自回归视频扩散
Accelerating Autoregressive Video Diffusion via History-Guided Cache and Residual Correction
对做自回归视频扩散的人，这篇给出了一个免训练、即插即用的缓存调度与残差校正方案：用历史片段自适应决定每段何时复用缓存，并对后续片段修正残差轨迹，从而抑制长视频生成中的误差累积，可直接套用到 FramePack、SkyReels 这类分段生成管线上。
AVGGT：重新审视全局注意力以加速 VGGT
AVGGT: Rethinking Global Attention for Accelerating VGGT
对做多视图三维重建的人，这篇给出了 VGGT/π³ 中全局注意力各层分工的实证结论（早层无对应、中层做跨视图对齐、末层仅微调），并据此提出免训练的两步加速：早层全局注意力改为帧内注意力、中层全局注意力对 patch token 的 K/V 做保对角子采样加均值填充，可直接套用到其他交替全局-帧注意力架构上。