Tag · 10 篇
免训练推理加速
ZOO-Prune：视觉语言模型中基于零阶梯度估计的免训练词元剪枝
ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models
用零阶扰动在投影层估计每个视觉词元的敏感度，无需反向传播即可决定剪枝对象，可直接移植到任意 VLM 的视觉编码器—投影层之间做免训练加速。
变化感知的视觉词元丢弃：加速大型视觉语言模型
Variation-aware Vision Token Dropping for Faster Large Vision-Language Models
对做 LVLM 推理加速的人，这篇给出了一个可直接插入 LLM 内部的视觉词元丢弃准则：按词元在层间的变化幅度（variation）而非注意力位置来排序剪枝，绕开了位置偏置与 FlashAttention 等高效算子的兼容问题，可复用到任意 LVLM 的 prefill 阶段。
TimeRipples：通过理解潜空间中的时空相关性加速 vDiT
TimeRipples: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space
针对 vDiT 自注意力推理延迟，利用潜空间中词元通道级的时空相关性，设计轻量自适应复用策略近似注意力计算，实现 85% 计算节省且视频质量几乎无损，为视频生成模型的高效推理提供可复用方案。
拒绝混合：面向高效 DLLM 推理的掩码词元快速语义传播
Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference
ReMix 的连续混合状态与拒绝回退机制可迁移到视觉语言模型的掩码扩散解码中，用于缓解并行解码时的组合矛盾，实现免训练加速且不损失质量。
面向快速自回归图像生成的并行 Jacobi 解码
Parallel Jacobi Decoding for Fast Autoregressive Image Generation
把 Jacobi 式投机解码的草稿序列从一维 token 链扩展到二维空间邻域，并配合调整注意力掩码抑制误差累积，可直接套用到 VAR、ImageGPT 等自回归图像生成器的推理阶段，在不重训的前提下换取数倍加速。
一层的垃圾是另一层的宝藏：LVLM 中的自适应逐层视觉词元选择
One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs
对做多模态大模型视觉侧推理加速的人，这篇给出了「按层动态选择视觉词元 + 被跳过词元在后续层重新汇入」的免训练方案，并用重要性一致性约束的低秩近似来逼近全注意力，可直接替换现有静态剪枝模块以缓解早期层信息丢失。
MoDES：通过动态专家跳过加速混合专家多模态大语言模型
MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping
MoDES 提供了一种免训练的专家跳过框架，可直接用于加速基于 MoE 的多模态大语言模型（如 Qwen3-VL-MoE）的视觉语言推理，通过全局调制局部门控和双模态阈值化，在跳过 88% 专家时仍保持甚至提升精度，并显著减少预填充和解码时间，为视觉研究者部署高效 MLLM 提供了可复用的技术手段。
DocPrune：通过背景、问题和理解感知的词元剪枝实现高效文档问答
DocPrune: Efficient Document Question Answering via Background, Question, and Comprehension-aware Token Pruning
针对文档图像中背景冗余和证据稀疏的特点，提出免训练的词元剪枝方法，可复用于其他视觉语言模型的长文档理解任务，提升推理效率。
DDiT：面向高效扩散 Transformer 的动态图像块调度
DDiT: Dynamic Patch Scheduling for Efficient Diffusion Transformers
把 DiT 固定的图像块划分换成随去噪时间步与内容复杂度变化的动态图像块尺寸，是一种无需训练、即插即用的推理加速手段，可直接套用到 FLUX、Wan 等基于 Transformer 的扩散生成模型上，在几乎不损失生成质量的前提下减少 token 数量。
D2Cache：面向更高视频扩散加速的二阶差分缓存
D2Cache: Second-Order Delta Caching for Higher Video Diffusion Acceleration
D2Cache 提出一种免训练的二阶残差缓存机制，通过利用一阶残差的时序差分（二阶残差）来更准确地预测未来时间步的输出，并基于时间步嵌入估计误差来自适应缩放二阶残差。该技术可直接用于加速视频扩散模型的推理，在 Latte、Open-Sora、LTX-video 和 Wan2.1 上均优于 TeaCache，且在高加速比下增益更大。