Topic · 198 篇

高效模型与推理加速

性能不降的前提下砍算力。量化、剪枝、蒸馏、token 剪枝。

efficientquantizationpruningdistillationNASsparselatencymobile
这个方向的收录判据

在保持性能的前提下降低计算/存储/延迟。包括模型压缩、量化、剪枝、知识蒸馏、 稀疏化、NAS、token 剪枝、early-exit、端侧部署。 判据:论文必须报告 FLOPs/参数量/延迟等效率指标作为核心卖点。

本方向全部 198 篇

01
高效模型与推理加速 / CVPR2026

mVLM:面向 mNPU 的视觉语言模型

mVLM: A Vision Language Model for mNPUs

面向 NPU 端侧部署的轻量 VLM 架构:用纯 NPU 友好算子构建动态卷积编码器(全局空间调制)与 SSM 解码器,并配合编码器-解码器全参数协同量化,为视觉研究者提供在极端内存约束下压缩 VLM 并保持生成质量的工程与架构思路。

视觉语言模型量化状态空间模型
02
高效模型与推理加速 / CVPR2026

ZOO-Prune:视觉语言模型中基于零阶梯度估计的免训练词元剪枝

ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models

用零阶扰动在投影层估计每个视觉词元的敏感度,无需反向传播即可决定剪枝对象,可直接移植到任意 VLM 的视觉编码器—投影层之间做免训练加速。

视觉词元剪枝零阶梯度估计免训练推理加速
03
高效模型与推理加速 / CVPR2026

YOSE:为高效 DiT 视频物体移除仅选择必要词元

YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal

对做 DiT 视频生成/编辑的人,这篇给出了一个可复用的思路:用可微的动态索引按掩码只处理必要词元,并用扩散过程模拟器近似未掩码区域在自注意力中的影响,从而让推理时间随掩码面积线性增长,可直接迁移到 inpainting、视频编辑等掩码驱动的生成任务上做加速。

扩散-Transformer动态稀疏计算词元选择
04
高效模型与推理加速 / CVPR2026

实用学习型图像压缩中真正重要的因素

What Matters in Practical Learned Image Compression

论文把感知质量与端侧运行时延作为联合优化目标,并用数百万骨干网络配置的感知性能神经架构搜索来寻找帕累托前沿,这套「感知指标驱动的 NAS + 时延约束」流程可直接迁移到超分、去噪等底层视觉模型的端侧部署设计。

神经架构搜索感知质量优化图像压缩
05
高效模型与推理加速 / CVPR2026

面向视觉的预算自适应评估轻量神经架构搜索

Vision-Oriented Lightweight Neural Architecture Search with Budget-Adaptive Evaluation

用六个训练开销极小的微型视觉任务作为代理信号来给候选架构排序,可在接近免训练方法的成本下获得基于训练的可靠性,适合直接替换现有 NAS 流程中的评估器。

神经架构搜索免训练评估排序相关性
06
高效模型与推理加速 / CVPR2026

VecAttention:面向长上下文推理加速的向量级稀疏注意力

VecAttention: Vector-wise Sparse Attention for Accelerating Long Context Inference

对做长视频理解或视频生成的视觉研究者,这篇论文提供了一个可直接替换全注意力的向量级稀疏注意力方案:利用视频注意力图的垂直向量稀疏模式,配合轻量重要向量选择与定制稀疏核,在 VideoMME、LongVideoBench、VBench 等任务上以约 2.65 倍加速保持精度,可作为长上下文视频模型推理加速的通用组件。

稀疏注意力长上下文推理视频生成
07
高效模型与推理加速 / CVPR2026

变化感知的视觉词元丢弃:加速大型视觉语言模型

Variation-aware Vision Token Dropping for Faster Large Vision-Language Models

对做 LVLM 推理加速的人,这篇给出了一个可直接插入 LLM 内部的视觉词元丢弃准则:按词元在层间的变化幅度(variation)而非注意力位置来排序剪枝,绕开了位置偏置与 FlashAttention 等高效算子的兼容问题,可复用到任意 LVLM 的 prefill 阶段。

视觉词元压缩动态词元剪枝大视觉语言模型
08
高效模型与推理加速 / CVPR2026

VVS:通过部分验证跳过加速视觉自回归生成的投机解码

VVS: Accelerating Speculative Decoding for Visual Autoregressive Generation via Partial Verification Skipping

把 LLM 里的投机解码搬到视觉自回归生成上,并首次提出「跳过验证步」:用动态截断的免验证词元选择器 + 词元级特征缓存复用 + 细粒度跳步调度,直接减少目标模型前向次数(2.8×),对做视觉 AR 生成(如 VAR 类模型)落地加速的人是一套可直接复用的推理框架。

投机解码视觉自回归生成特征缓存复用
09
高效模型与推理加速 / CVPR2026

VMonarch:面向高效视频扩散 Transformer 的结构化注意力

VMonarch: Efficient Video Diffusion Transformers with Structured Attention

把 Monarch 结构化矩阵引入视频 DiT 的时空注意力,用交替最小化在线拟合动态稀疏模式,并配合重计算与在线熵估计融合进 FlashAttention,可直接替换长视频生成中的全注意力层,在 90% 稀疏度下仍优于现有稀疏注意力方法。

结构化稀疏注意力视频扩散-TransformerFlashAttention
10
高效模型与推理加速 / CVPR2026

VLM-Pruner:在高效 VLM 离心式词元剪枝范式中为空间稀疏性引入缓冲机制

VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm

提出免训练的视觉词元剪枝范式:用离心式由近及远的选择配合空间稀疏缓冲准则,避免保留词元过度稀疏而漏掉目标区域,可直接套用到任意 VLM 的视觉编码器输出上做推理加速。

视觉词元剪枝冗余感知选择免训练加速
11
高效模型与推理加速 / CVPR2026

VLM-PTQ:面向大型视觉语言模型的高效训练后量化

VLM-PTQ: Efficient Post-Training Quantization for Large Vision-Language Models

为视觉-语言大模型提供了一种非对称训练后量化框架,通过闭式修正项和模态感知的通道重要性区分,在低比特下显著提升量化性能,可直接用于压缩部署VLM。

训练后量化权重补偿模态感知量化
12
高效模型与推理加速 / CVPR2026

按需视觉:以稀疏、动态选择的视觉-语言交互提升 VLLM 效率

VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions

对做多模态视觉研究的人,这篇论文给出了一条不丢弃视觉词元、而是稀疏化图文交互的加速路径:用少量交叉注意力层提供全局视觉上下文,再用动态选择的自注意力层按样本复杂度精炼高分辨率视觉表示,可直接迁移到任何 LVLM 的推理加速与高分辨率细粒度理解场景。

视觉词元剪枝动态计算分配交叉注意力
13
高效模型与推理加速 / CVPR2026

VDE:通过速度分解与估计实现整流流模型的免训练加速

VDE: Training-Free Accelerating Rectified Flow Model via Velocity Decomposition and Estimation

把整流流模型的速度场拆成平行/正交分量做输入自适应估计,替代静态特征缓存,可直接套到 Flux、Qwen-Image 等扩散/流匹配采样器上做免训练少步加速。

免训练加速扩散采样速度场分解
14
高效模型与推理加速 / CVPR2026

Upsample Anything:一个简单且难以超越的特征上采样基线

Upsample Anything: A Simple and Hard to Beat Baseline for Feature Upsampling

把高斯泼溅与联合双边上采样结合成逐图像测试时优化的各向异性高斯核,可在不重训练的情况下把任意 ViT 的 14x/16x 下采样特征、深度图或概率图恢复为像素级高分辨率输出,适合作为分割/深度等密集预测任务中冻结基础模型后的通用后处理插件。

测试时优化各向异性高斯核联合双边上采样
15
高效模型与推理加速 / CVPR2026

UniMERNet:面向真实世界数学表达式识别的通用网络

UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition

提出 Raster-Scan Attention,将全局注意力的 O(NH²W²D) 复杂度降至 O(NHWD(H+W)),可复用于其他需要处理长序列的视觉任务(如场景文本识别、文档理解),在保持精度的同时大幅降低显存和加速推理。

稀疏注意力数学表达式识别Transformer
16
高效模型与推理加速 / CVPR2026

UniComp:从信息唯一性重新审视视频压缩

UniComp: Rethinking Video Compression Through Informational Uniqueness

用条件熵与「信息唯一性」度量词元冗余,可在任意视觉 Transformer 的视频/图像词元压缩中替换启发式重要性打分,为下游视频模型提供可复用的自适应词元分配策略。

词元压缩信息熵自适应资源分配
17
高效模型与推理加速 / CVPR2026

超快神经视频压缩

Ultra-Fast Neural Video Compression

提出基于块(chunk)的编码框架,将多帧编码为单一紧凑潜变量并并行解码,配合跨帧交互模块与帧特定解码器,可显著提升视频压缩的吞吐量并建模长期时序相关性;其精简熵编码机制将比特流交互合并为单步,降低解码开销,对视频压缩与高效视频处理有直接参考价值。

神经视频压缩熵编码时空建模
18
高效模型与推理加速 / CVPR2026

UTPTrack:面向视觉跟踪的简单统一词元剪枝

UTPTrack: Towards Simple and Unified Token Pruning for Visual Tracking

提出一种注意力引导、词元类型感知的统一剪枝策略,可同时压缩搜索区域、动态模板和静态模板中的视觉词元,为基于单流 Transformer 的跟踪器在保持精度的同时大幅降低计算量,该思路可迁移到其他需要处理多源视觉词元的 Transformer 任务。

词元剪枝视觉跟踪注意力引导
19
高效模型与推理加速 / CVPR2026

UPLiFT:基于局部注意力算子的高效像素稠密特征上采样

UPLiFT: Efficient Pixel-Dense Feature Upsampling with Local Attenders

UPLiFT 提供了一种任务无关的像素稠密特征上采样模块,可直接替换 FPN 式插值或交叉注意力上采样,在分割、深度等稠密预测任务中以更低推理成本获得更稳定的高分辨率特征;其局部注意力池化算子也可迁移到其他需要局部注意力的轻量模块设计中。

特征上采样注意力池化轻量级架构
20
高效模型与推理加速 / CVPR2026

UETrack:统一高效的单目标跟踪框架

UETrack: A Unified and Efficient Framework for Single Object Tracking

Token-Pooling-based Mixture-of-Experts 和 Target-aware Adaptive Distillation 可复用于多模态视觉任务的高效部署,在保持精度的同时显著降低计算开销。

混合专家知识蒸馏多模态跟踪
21
高效模型与推理加速 / CVPR2026

TransPrune:面向高效大型视觉语言模型的词元变化剪枝

TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model

对做 LVLM 视觉侧推理加速的人,可直接复用「词元表征在模块间传播时的幅值与方向变化」作为重要性信号,替代有位置偏置的注意力/相似度准则,且免训练即可插到 LLaVA、Qwen2.5-VL 等架构中。

视觉词元剪枝免训练加速多模态大模型
22
高效模型与推理加速 / CVPR2026

免训练混合分辨率潜变量上采样用于空间加速扩散 Transformer

Training-free Mixed-Resolution Latent Upsampling for Spatially Accelerated Diffusion Transformers

提出一种免训练的空间加速框架,通过区域自适应潜变量上采样和噪声-时间步匹配,在保持生成质量的同时显著加速扩散 Transformer,可复用于高分辨率图像生成等任务。

扩散-Transformer潜变量上采样免训练加速
23
高效模型与推理加速 / CVPR2026

面向高效扩散 Transformer 的可训练对数线性稀疏注意力

Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers

LLSA 把 DiT 自注意力的选择与计算复杂度从二次降到对数线性,并给出仅用稀疏索引的前向/反向 GPU 实现,可直接替换现有 DiT 中的 Top-K 块稀疏注意力,用于高分辨率像素空间长序列生成训练。

稀疏注意力扩散-Transformer分层-Top-K-选择
24
高效模型与推理加速 / CVPR2026

迈向统一的人类感知与机器理解:词元流引导的压缩框架

Towards Unified Human Perception and Machine Understanding: Token Flow Guided Compression Framework

TFGC 提出基于词元的灵活压缩框架,让 LVLM 直接处理压缩后的词元而无需图像重建,并支持超低码率下的可变码率控制;其词元流传播和语义引导对齐策略可被视觉研究者复用于设计面向机器理解的压缩-理解联合优化方案。

图像压缩词元传播语义对齐
25
高效模型与推理加速 / CVPR2026

基于局部与全局上下文优化的词元缩减:面向高效视频大语言模型

Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models

面向视频大语言模型的免训练词元压缩:用注意力引导的帧内/帧间锚点加最优传输,把被剪词元的信息聚合进锚点,可直接套用到任何视频 LLM 的视觉编码器与 LLM 之间,降低视觉词元数而不丢时序细节。

词元剪枝最优传输视频大语言模型
26
高效模型与推理加速 / CVPR2026

TimeRipples:通过理解潜空间中的时空相关性加速 vDiT

TimeRipples: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space

针对 vDiT 自注意力推理延迟,利用潜空间中词元通道级的时空相关性,设计轻量自适应复用策略近似注意力计算,实现 85% 计算节省且视频质量几乎无损,为视频生成模型的高效推理提供可复用方案。

视频扩散-Transformer自注意力加速稀疏注意力
27
高效模型与推理加速 / CVPR2026

ThinkingViT:面向弹性推理的套娃式思考视觉 Transformer

ThinkingViT: Matryoshka Thinking Vision Transformer for Elastic Inference

把 Matryoshka 式嵌套 ViT 与按输入难度自适应的渐进式推理结合:先用少量注意力头出预测,置信度不足再在同一骨干内激活更多头重跑,并用词元回收融合上一阶段嵌入,可直接作为现有 ViT 骨干的即插即用加速方案。

嵌套子网络动态推理注意力头剪枝
28
高效模型与推理加速 / CVPR2026

面向极速动作扩散的测试时稀疏性

Test-time Sparsity for Extreme Fast Action Diffusion

把「测试时稀疏化 + 跨去噪步/跨 rollout 的特征复用」做成可插拔的加速范式,对视觉里做扩散 Transformer 推理加速(如视频/图像扩散的 few-step 与缓存复用)可直接迁移;其并行化去噪时间步、剪枝器与解码器异步重叠的流水线设计,也是降低非主干延迟的通用工程思路。

扩散-Transformer测试时稀疏化特征复用
29
高效模型与推理加速 / CVPR2026 待复核

脉冲 Transformer 中的时序交互与多延迟混合器

Temporal Interaction in Spiking Transformers with Multi-Delay Mixer

MD-Mixer 作为即插即用模块替换脉冲 Transformer 中的空间自注意力,为事件相机等神经形态视觉输入提供显式时序混合,可直接用于事件驱动视觉骨干网络的改造。

脉冲神经网络Transformer时序建模
30
高效模型与推理加速 / CVPR2026

教师引导路由的稀疏视觉混合专家

Teacher-Guided Routing for Sparse Vision Mixture-of-Experts

提出用预训练稠密教师模型的中间表示构建教师路由器,为学生路由器的专家选择提供伪监督,从而稳定稀疏MoE训练中的路由波动;这一思路可直接迁移到视觉MoE模型(如V-MoE)的训练中,提升高稀疏配置下的路由一致性与精度。

稀疏混合专家知识蒸馏路由学习
31
高效模型与推理加速 / CVPR2026

TaskIT:通过跨任务重要性迁移实现多 LoRA 大语言模型的显存高效微调

TaskIT: Memory-Efficient Fine-Tuning of Multi-LoRA LLMs via Cross-Task Importance Transfer

对需要在显存受限设备上部署多任务视觉-语言模型的场景,TaskIT 的跨任务重要性迁移与基于块的显存预测器可用于在插入 LoRA 模块前估计其重要性,并配合动态规划调度器在显存预算内选择模块位置、数量与秩,可直接迁移到多任务视觉基础模型的端侧微调。

低秩适配稀疏更新显存预算调度
32
高效模型与推理加速 / CVPR2026

TWEO:无极端离群值的 Transformer 实现 FP8 训练与傻瓜式量化

TWEO: Transformers Without Extreme Outliers Enables FP8 Training And Quantization For Dummies

TWEO 通过一个简单的损失项消除激活离群值,使 ViT 和 LLM 无需工程技巧即可进行全模型 FP8 预训练,并支持硬件友好的 W8A8 静态量化,为视觉 Transformer 的低精度训练与部署提供了可直接复用的方法。

FP8训练量化激活离群值
33
高效模型与推理加速 / CVPR2026

TAS-LoRA:基于混合低秩适配专家的Transformer架构搜索

TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts

将低秩适配(LoRA)作为子网专属参数引入Transformer架构搜索,配合混合专家路由,可缓解超网特征坍缩问题;该思路可迁移到视觉Transformer的轻量化搜索与参数高效微调场景。

神经架构搜索低秩适配混合专家
34
高效模型与推理加速 / CVPR2026

更强的无归一化 Transformer

Stronger Normalization-Free Transformers

Derf 可作为 LayerNorm/RMSNorm/DyT 的即插即用替代,用于视觉识别与生成任务中的无归一化 Transformer,降低归一化层开销并可能提升泛化。

归一化替代逐点函数设计Transformer架构
35
高效模型与推理加速 / CVPR2026

精简知识蒸馏

Streamlined Knowledge Distillation

提供了一种仅用 logit 的蒸馏损失设计:用归一化 logit 的 Gram 矩阵加马氏距离(Tikhonov 正则化 + Cholesky 分解稳定)传递方向性知识,可即插即用地替换视觉模型压缩中常用的特征蒸馏,省去多层特征对齐的工程开销。

知识蒸馏logit蒸馏马氏距离
36
高效模型与推理加速 / CVPR2026

StreamingTOM:面向高效视频理解的流式词元压缩

StreamingTOM: Streaming Token Compression for Efficient Video Understanding

提出免训练的两阶段词元压缩框架,在LLM前通过因果时序缩减减少每帧预填充成本,在LLM后通过4位量化内存管理KV缓存,为流式视频理解提供可预测延迟和有限内存的解决方案。

词元压缩KV缓存量化流式视频理解
37
高效模型与推理加速 / CVPR2026

SpikeTrack:面向高效视觉跟踪的脉冲驱动框架

SpikeTrack: A Spike-driven Framework for Efficient Visual Tracking

把脉冲神经网络的不对称时间步扩展与单向信息流设计用于 RGB 跟踪,并用记忆检索模块在分支间传递模板线索;对做视觉跟踪或想在视觉任务中引入 SNN 低能耗计算的人,这是一套可直接借鉴的骨干与跨分支信息传递范式。

脉冲神经网络视觉跟踪时空动力学
38
高效模型与推理加速 / CVPR2026

SpeeDe3DGS:基于时序剪枝与运动分组的快速可形变三维高斯泼溅

SpeeDe3DGS: Speedy Deformable 3D Gaussian Splatting with Temporal Pruning and Motion Grouping

对做动态 3DGS 的人,这篇给出了一套把逐高斯神经推理换成共享 SE(3) 群变换 + 时序敏感剪枝的加速范式,可直接迁移到任何带神经运动场的可形变场景表示上,在几乎不掉画质的前提下把渲染提速一个数量级。

高斯泼溅剪枝动态场景重建
39
高效模型与推理加速 / CVPR2026

SparVAR:探索视觉自回归建模中的稀疏性以实现免训练加速

SparVAR: Exploring Sparsity in Visual AutoRegressive Modeling for Training-Free Acceleration

SparVAR 提出免训练的稀疏注意力机制,利用 VAR 模型中的注意力汇、跨尺度激活相似性和局部性,动态预测高分辨率尺度的稀疏模式,并实现高效块稀疏核,可将 8B 模型生成 1024x1024 图像的时间降至 1 秒,为视觉自回归生成模型提供通用加速方案。

稀疏注意力免训练加速视觉自回归模型
40
高效模型与推理加速 / CVPR2026

ShiftLUT:面向高效图像复原的空间偏移增强查找表

ShiftLUT: Spatial Shift Enhanced Look-Up Tables for Efficient Image Restoration

用可学习通道级空间偏移(LSS)在不增加 LUT 体积的前提下扩展感受野,配合非对称双分支把算力倾斜到信息密集分支以降低推理延迟,这套思路可直接迁移到任何基于 LUT 或轻量卷积的端侧图像复原/增强模型设计。

查找表感受野扩展图像复原
41
高效模型与推理加速 / CVPR2026

SelecTKD:面向大语言模型的选择性词元加权知识蒸馏

SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs

对做多模态大模型压缩的视觉研究者,可把教师验证的接受/拒绝词元掩码机制直接套到 VLM 蒸馏上,替代对所有词元一视同仁的 KL 损失,在容量差距大时抑制高熵噪声监督。

知识蒸馏词元级加权课程学习
42
高效模型与推理加速 / CVPR2026

SegQuant:面向扩散模型的语义感知可泛化量化框架

SegQuant: A Semantics-Aware and Generalizable Quantization Framework for Diffusion Models

对做扩散模型落地的人,SegQuant 提供了一套免训练、免数据的 PTQ 流程:用图分割把线性层按结构语义分组再定量化粒度,并用双路径硬件原生计算处理极性不对称激活,可直接套到自己的扩散骨干上压缩显存与延迟。

训练后量化扩散模型图分割
43
高效模型与推理加速 / CVPR2026

SegMo:面向高效 VLM 推理的内容感知稀疏化与局部凝聚分段并行协同设计

SegMo: Co-Designing Content-Aware Sparsity and Locally-Cohesive Segment Parallelism for Efficient VLM Inference

对做视频多模态推理的人,这篇给出了一个可直接复用的思路:利用 VideoLLM 注意力在场景内的局部凝聚性,先按查询相关性做场景级筛选、再按时序冗余做场景内剪枝,得到非均匀计算负载,并在场景边界切分做分段并行,用轻量全局上下文注入替代全局注意力的通信开销。

视频大语言模型稀疏注意力序列并行
44
高效模型与推理加速 / CVPR2026

Seele:面向移动设备实时高斯泼溅的统一加速框架

Seele: A Unified Acceleration Framework for Real-Time Gaussian Splatting on Mobile Devices

面向移动端 3DGS 的加速框架:通过视图相关场景表示加在线过滤的混合预处理减少无关高斯数量,并在光栅化阶段按贡献度优先调度高斯,可直接嵌入现有 3DGS 管线,为在资源受限设备上部署实时新视角合成提供可复用手段。

高斯泼溅移动端部署光栅化优化
45
高效模型与推理加速 / CVPR2026

SeaCache:面向扩散模型加速的频谱演化感知缓存

SeaCache: Spectral-Evolution-Aware Cache for Accelerating Diffusion Models

对做扩散/流匹配采样加速的人,可直接把「频谱演化先验」当作缓存复用判据:用 SEA 滤波器滤掉高频噪声后再算相邻时间步特征距离,替代原始特征差,从而在不训练的情况下自适应决定哪些步可以跳过。

扩散模型加速免训练缓存调度频谱分析
46
高效模型与推理加速 / CVPR2026

将并行序列模型扩展至视觉基础模型

Scaling Parallel Sequence Models to Vision Foundation Models

用 C-GSPN 替换 ViT 中的自注意力块,可在 2D 网格上做线性时间上下文传播并去掉位置编码,配合融合 CUDA kernel 与两阶段蒸馏,让视觉基础模型预训练在同等算力下获得约 2 倍加速;做高分辨率或长序列视觉骨干时可直接复用该算子与蒸馏流程。

线性复杂度注意力空间传播网络CUDA-算子融合
47
高效模型与推理加速 / CVPR2026

基于状态空间建模与稀疏相关的可扩展特征匹配

Scalable Feature Matching via State Space Modeling and Sparse Correlation

用 Conv-Mamba 混合骨干网络以线性复杂度替代 Transformer 的长程建模,并用免训练范数过滤把全相关矩阵稀疏化,可直接迁移到任何需要高分辨率稠密/半稠密匹配的视觉流程(如光流、立体匹配、SLAM 前端)以降低显存与延迟。

状态空间模型稀疏相关特征匹配
48
高效模型与推理加速 / CVPR2026

面向扩散模型的采样感知量化

Sampling-Aware Quantization for Diffusion Models

针对扩散模型在低延迟场景下的部署,提出采样感知量化策略,通过混合阶轨迹对齐约束每步采样误差,使量化后的模型仍能保持高阶采样器的快速收敛特性,为视觉生成模型的端侧加速提供可复用方案。

扩散模型量化采样加速
49
高效模型与推理加速 / CVPR2026

面向视觉 Transformer 的显著性驱动词元合并

Saliency-Driven Token Merging for Vision Transformers

提供了一种免训练的词元合并策略:利用输入图块的潜在视觉显著性统计量判断哪些词元与全局梯度方向不一致,从而安全合并,可直接插入任意 ViT 主干以降低浮点运算量,无需微调。

词元合并免训练加速显著性分析
50
高效模型与推理加速 / CVPR2026

SURF:保留签名的快速视频生成

SURF: Signature-Retained Fast Video Generation

提出免训练的 noise reshifting:先在原分辨率做前几步去噪再切到低分辨率,避免高分辨率模型在低分辨率推理时的签名损失;配合预览-精修两阶段与窗口移位 Refiner,可作为插件套到任意视频扩散基座与加速方法上,做高分辨率视频生成的即插即用加速。

视频扩散模型免训练加速级联超分
51
高效模型与推理加速 / CVPR2026

面向行人重识别的 SSM 感知词元高效 VMamba:自适应图像块剪枝与合并

SSM-Aware Token-Efficient VMamba via Adaptive Patch Pruning and Merging for Person Re-Identification

把视觉状态空间模型(VMamba)中冗余的词元按层自适应剪枝、按深度合并,并学习逐层阈值来动态权衡精度与算力;做视觉主干加速的人可直接把这套结构化词元削减策略迁移到 ViT/SSM 类骨干上。

词元剪枝词元合并状态空间模型
52
高效模型与推理加速 / CVPR2026

SODA:面向敏感性的扩散 Transformer 动态加速

SODA: Sensitivity-Oriented Dynamic Acceleration for Diffusion Transformer

对做扩散 Transformer 采样加速的人,这篇给出了一个可复用的思路:用离线敏感性误差建模(跨时间步、层、模块)作为代价函数,用动态规划求最优缓存间隔,并在剪枝与缓存复用时按 token 敏感性自适应决定剪枝时机与比例,可直接嵌入现有 DiT 推理管线以在可控加速比下提升保真度。

扩散-Transformer缓存复用剪枝
53
高效模型与推理加速 / CVPR2026

SJD-PAC:通过主动起草与自适应延续加速推测式 Jacobi 解码

SJD-PAC: Accelerating Speculative Jacobi Decoding via Proactive Drafting and Adaptive Continuation

对做扩散/自回归图像生成的人来说,SJD-PAC 提供了一套无需草稿模型、且严格保持目标分布的推理加速方案:通过主动起草提升高熵区域的局部接受率,并用自适应延续在首次拒绝后继续验证序列,可直接套用到自回归视觉生成器的采样环节以提升吞吐。

推测解码Jacobi-迭代解码免草稿模型加速
54
高效模型与推理加速 / CVPR2026

SGI:面向高效紧凑大图像表示的结构化二维高斯

SGI: Structured 2D Gaussians for Efficient and Compact Large Image Representation

将2D高斯泼溅从无结构基元转为种子驱动的结构化隐式表示,配合多尺度由粗到细拟合与种子级熵压缩,为高分辨率图像表示提供可复用的紧凑化与加速优化范式。

高斯泼溅隐式神经表示多尺度拟合
55
高效模型与推理加速 / CVPR2026

SG-LoRA:语义引导的低秩适配参数生成

SG-LoRA: Semantic-guided LoRA Parameters Generation

对视觉研究者而言,这是一种用任务文本描述在共享嵌入空间中检索并生成 LoRA 权重的免训练方案,可直接用于为未见过的下游视觉任务(如新风格、新域识别)实时构建个性化适配器,避免逐任务微调;其语义到 LoRA 的生成管线也可迁移到扩散模型、VLM 等大模型的高效定制。

低秩适配参数生成语义嵌入
56
高效模型与推理加速 / CVPR2026

SEATrack:简单、高效且自适应的多模态跟踪器

SEATrack: Simple, Efficient, and Adaptive Multimodal Tracker

AMG-LoRA 将 LoRA 与自适应互引导结合,用于对齐双流跟踪器中的跨模态注意力图;HMoE 用分层混合专家实现高效的全局关系建模,这两者都是可复用的 PEFT 与融合设计,可直接迁移到其他多模态视觉任务。

参数高效微调低秩适配混合专家
57
高效模型与推理加速 / CVPR2026

SCoRe:面向视觉语言模型视觉词元剪枝的显著性-覆盖度约减

SCoRe: Salience-Coverage Reduction for Vision Token Pruning in Vision-Language Models

把视觉编码器内的词元剪枝从解耦启发式规则重构为加权 k-Center 覆盖优化,用统一的代表性分数贪心选点,可直接替换 LLaVA 类 LVLM 视觉端的 token 压缩模块,在 94.4% 剪枝率下保住 95% 性能。

视觉词元剪枝加权k中心问题贪心优化
58
高效模型与推理加速 / CVPR2026

S2FT:稀疏频谱域中的参数高效微调

S2FT: Parameter-Efficient Fine-Tuning in Sparse Spectrum Domain

为视觉大模型(ViT、扩散骨干等)的下游适配提供了一种仅需约0.08%可训练参数的PEFT方案:先用粗估的权重变化作为先验,再通过行列重排把权重变化映射到频谱稀疏的潜空间,然后只微调少量谱系数;做迁移学习或低资源微调时,可以直接替换LoRA/傅里叶PEFT的适配模块。

参数高效微调傅里叶变换频谱稀疏性
59
高效模型与推理加速 / CVPR2026

S2D:选择性谱衰减,用于神经激活的量化友好调理

S2D: Selective Spectral Decay for Quantization-Friendly Conditioning of Neural Activations

对做视觉大模型部署的人,S2D 给出一个在微调阶段抑制激活离群值的正则手段:只对权重最大奇异值对应的分量做谱衰减,就能让 CLIP/SigLIP 类骨干在 W4A4 PTQ 下少掉点,可直接接到自己的量化流水线前。

量化激活离群值谱正则化
60
高效模型与推理加速 / CVPR2026

重新审视词元压缩:加速基于ViT的稀疏多视图3D目标检测器

Revisiting Token Compression for Accelerating ViT-based Sparse Multi-View 3D Object Detectors

把「图像块尺寸」本身当作可动态调节的压缩维度,配合跨粒度特征增强把粗块丢失的细节补回来,可直接迁移到任何 ViT 主干的多视图/时序感知模型上做免训练或轻训练加速。

词元压缩动态图像块划分多视图3D检测
61
高效模型与推理加速 / CVPR2026

重访多模态 KV 缓存压缩:一种频域引导的离群 KV 感知方法

Revisiting Multimodal KV Cache Compression: A Frequency-Domain-Guided Outlier-KV-Aware Approach

对做多模态大模型视觉侧推理的人来说,这篇给出了一个绕开注意力分数、直接对 KV 矩阵做频域主成分建模来识别并保留离群 KV 的压缩思路,且与 FlashAttention 等高效注意力核兼容,可直接用于视觉 token 极长的多图/视频输入场景降低解码延迟与显存。

KV-Cache-压缩频域分析动态预算分配
62
高效模型与推理加速 / CVPR2026

重新审视 SNN 在线训练与部署:基于混合驱动 LIF 模型的梯度一致学习

Rethinking SNN Online Training and Deployment: Gradient-Coherent Learning via Hybrid-Driven LIF Model

HD-LIF 通过在上、下阈值区域采用不同的脉冲计算机制,把时序梯度分离并缓解替代梯度错位,为视觉任务中 SNN 的在线训练提供了一条在精度、显存占用与功耗之间取得平衡的路径;做低功耗视觉骨干或事件相机后端的研究者可直接替换 LIF 单元复用该机制。

脉冲神经网络在线学习替代梯度
63
高效模型与推理加速 / CVPR2026

重新审视非对称量化:视觉模型权重中的隐藏对称性

Rethinking Asymmetric Quantization: Hidden Symmetry in Vision Model Weights

对需要在边缘/FPGA上部署视觉模型的读者,DASQ 给出了一条可复用的权重分解思路:先用稀疏分量剥离少量离群值,使剩余稠密权重近似对称,从而用无零点的对称量化替代非对称量化,在分类、检测、实例分割上同时降低 BOPs 与硬件开销。

训练后量化低比特量化稀疏化
64
高效模型与推理加速 / CVPR2026

ResCa:面向扩散 Transformer 加速的残差缓存

ResCa: Residual Caching for Diffusion Transformers Acceleration

把「代理去噪」思路用于扩散 Transformer 的推理加速:在每个轨迹聚类内只对一个代理词元做真实去噪,再用其多阶残差模拟其余词元的去噪,从而在保持自洽且更新的去噪轨迹下大幅削减 GFLOPs,可直接套用到 DiT/FLUX/视频生成模型的采样环节。

扩散-Transformer免训练加速缓存复用
65
高效模型与推理加速 / CVPR2026

面向扩散 Transformer 的区域自适应采样

Region-Adaptive Sampling for Diffusion Transformers

对做扩散 Transformer 推理加速的人,这篇给出了一个可直接套用的免训练策略:用上一步输出判定 DiT 关注的语义区域,只对这些区域对应的词元做前向更新,其余词元复用缓存噪声,从而在 Stable Diffusion 3、Lumina-Next-T2I 上取得 2 倍以上加速;该「按区域分配更新比例」的思路可迁移到视频 DiT 与可控生成管线中。

扩散-Transformer免训练加速缓存复用
66
高效模型与推理加速 / CVPR2026

使用带自突触的单个神经元重建脉冲神经网络

Reconstructing Spiking Neural Networks Using a Single Neuron with Autapses

用带时延自突触的单个LIF神经元通过时序复用实现储备池、MLP与卷积类脉冲架构,为视觉任务提供一种以时间延迟换取神经元数量与状态显存大幅下降的紧凑计算单元思路。

脉冲神经网络储备池计算原型学习
67
高效模型与推理加速 / CVPR2026

ReFTA:突破张量化参数高效微调中的权重重构瓶颈

ReFTA: Breaking the Weight Reconstruction Bottleneck in Tensorized Parameter-Efficient Fine-Tuning

对需要在 ViT-Large 等大模型上做下游适配的视觉研究者,ReFTA 用张量代数消去训练时的权重重构开销,并只微调主张量分量,可在比 LoRA 少 96% 可训练参数的情况下取得更高精度,是替换 LoRA/PiSSA 的即插即用微调方案。

参数高效微调张量分解低秩适配
68
高效模型与推理加速 / CVPR2026

随机分组胜出:重新审视视觉词元的分组策略

Random Wins All: Rethinking Grouping Strategies for Vision Tokens

用随机分组替代精心设计的词元分组策略来降低自注意力的二次复杂度,可直接替换 ViT 类骨干中的分组注意力模块,并在检测等下游任务上验证了迁移收益。

词元分组自注意力视觉Transformer
69
高效模型与推理加速 / CVPR2026

RAPID:面向高效视频扩散的跨步自适应注意力稀疏复用

RAPID: Reusing Attention Sparsity with Inter-step Adaptation for Efficient Video Diffusion

把视频扩散中 3D 注意力的稀疏模式当作可缓存的时序稳定信号:在生成早期做一次注意力块重要性估计并缓存稀疏掩码,后续步骤直接复用,从而免去逐步重算的开销;这套「一次性估计 + 跨步复用」思路可直接迁移到任何 DiT 类视频/图像生成模型的推理加速上。

稀疏注意力视频扩散模型注意力复用
70
高效模型与推理加速 / CVPR2026

RADAR:VAR的VQ-VAE解码器是加速退化恢复的好学生

RADAR: VQ-VAE Decoder of VAR is a Good Student for Restoring Against Degradation by Acceleration

针对VAR中跨尺度注意力语义偏置问题,提出语义代价感知的注意力掩码与解码器端LoRA知识蒸馏恢复,为视觉自回归生成提供可复用的加速与保真平衡方案。

视觉自回归生成注意力掩码LoRA微调
71
高效模型与推理加速 / CVPR2026

QuietPrune:面向视觉语言模型的查询引导早期词元剪枝

QuietPrune: Query-Guided Early Token Pruning for Vision-Language Models

把剪枝时机提前到 ViT 内部,并用投影器逆变换构造的 [Q-CLS] 词元为视觉词元提供文本相关性打分,这一「查询引导的早期剪枝」思路可直接迁移到任何 ViT-LLM 架构的 VLM 推理加速中,且 2x2 分组剪枝与主流视觉词元合并操作兼容。

视觉词元剪枝视觉语言模型半结构化剪枝
72
高效模型与推理加速 / CVPR2026

QuantVLA:面向视觉-语言-动作模型的尺度校准训练后量化

QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models

为视觉-语言-动作模型提供无需训练的训练后量化方案,可复用于扩散Transformer动作头的低比特部署,并给出注意力温度匹配与输出头平衡等校准技巧。

训练后量化扩散Transformer视觉-语言-动作模型
73
高效模型与推理加速 / CVPR2026

Quant Experts:面向大型视觉语言模型量化的 token 感知自适应误差重建与混合专家

Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization

对需要在有限显存下部署 VLM 的视觉研究者,这篇论文给出了一个可直接套用的 PTQ 误差补偿范式:按 token 与模态区分重要通道,用共享低秩适配器加路由低秩适配器(MoE)分别补偿全局与局部量化误差,可迁移到任意 VLM 的量化部署流程中。

训练后量化混合专家低秩适配
74
高效模型与推理加速 / CVPR2026

QVGGT:训练后量化的视觉几何基础 Transformer

QVGGT: Post-Training Quantized Visual Geometry Grounded Transformer

对需要在边缘设备部署前馈式三维重建模型的研究者,本文给出了按 Transformer 块敏感度分配精度的混合精度量化方案,以及用 PCA 全局补偿词元处理相机/寄存器离群词元的校准策略,可直接迁移到其他大规模几何 Transformer 的压缩。

训练后量化混合精度量化量化校准
75
高效模型与推理加速 / CVPR2026

Prune2Drive:面向自动驾驶视觉语言模型加速的即插即用框架

Prune2Drive: A Plug-and-Play Framework for Accelerating Vision-Language Models in Autonomous Driving

面向多视图 VLM 的即插即用视觉词元剪枝:用多样性感知选择保证跨视图语义/空间覆盖,并用视图自适应控制器按相机重要性学习剪枝比例,且不依赖注意力图、无需重训练,可直接套到自动驾驶多相机 VLM 的预填充阶段省算力。

视觉词元剪枝多视图融合免训练加速
76
高效模型与推理加速 / CVPR2026

渐进式超网络训练用于高效视觉自回归建模

Progressive Supernet Training for Efficient Visual Autoregressive Modeling

提出一种基于超网络的动态深度调整方法,通过渐进式训练策略在单个模型内实现不同深度的子网络,从而在视觉自回归生成中大幅减少KV缓存和推理时间,为资源受限场景下的高效生成提供了可复用的技术方案。

超网络动态深度渐进式训练
77
高效模型与推理加速 / CVPR2026

渐进式神经架构生成

Progressive Neural Architecture Generation

对做视觉模型设计的读者,PNAG 提供了一种用多尺度子架构量化加逐步一致性约束来直接生成有效架构的范式,可替代贝叶斯优化中的随机采样环节,把架构搜索的生成时间降低约 1300 倍,并可直接生成 Transformer 类视觉骨干。

神经架构搜索神经架构生成量化
78
高效模型与推理加速 / CVPR2026

偏好对齐的低秩适配合并:保持子空间覆盖与解决方向各向异性

Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy

TARA-Merging 提供了一种无需额外训练即可合并多个 LoRA 模块的方法,视觉研究者可将其用于多任务模型融合、领域自适应或个性化模型集成,尤其适合需要保持各任务性能的场景。

低秩适配模型合并参数高效微调
79
高效模型与推理加速 / CVPR2026

面向扩散 Transformer 的可插拔剪枝与连续层蒸馏

Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers

对做扩散 Transformer 生成的人,这套「线性探针定位冗余层区间 + 深度/宽度联合剪枝 + 一次性教师-学生交替蒸馏」的流程可直接迁移到自己的 DiT/MMDiT 骨干上,无需为每个剪枝比例重训即可在 50% 参数下保持生成质量。

结构化剪枝扩散-Transformer教师-学生蒸馏
80
高效模型与推理加速 / CVPR2026

Pip-Stereo:面向迭代优化立体匹配的渐进式迭代剪枝器

Pip-Stereo: Progressive Iterations Pruner for Iterative Optimization based Stereo Matching

把迭代式立体匹配的递归细化过程按空间稀疏性与时间冗余性做渐进式迭代剪枝,并用硬件感知的 FlashGRU 替代 ConvGRU,为在边缘设备上部署迭代式匹配网络提供了可复用的加速范式。

迭代优化剪枝结构化稀疏硬件感知算子
81
高效模型与推理加速 / CVPR2026

ParallelVLM:基于视觉对齐感知并行推测解码的无损视频大模型加速

ParallelVLM: Lossless Video-LLM Acceleration with Visual Alignment Aware Parallel Speculative Decoding

提出免训练的并行推测解码框架,通过无偏验证器引导剪枝对齐草稿与目标模型,将视频词元剪枝与推测解码结合,为视频大模型的长视频推理提供可复用的加速方案。

推测解码视觉词元剪枝视频理解
82
高效模型与推理加速 / CVPR2026

面向快速自回归图像生成的并行 Jacobi 解码

Parallel Jacobi Decoding for Fast Autoregressive Image Generation

把 Jacobi 式投机解码的草稿序列从一维 token 链扩展到二维空间邻域,并配合调整注意力掩码抑制误差累积,可直接套用到 VAR、ImageGPT 等自回归图像生成器的推理阶段,在不重训的前提下换取数倍加速。

自回归图像生成Jacobi-迭代解码免训练推理加速
83
高效模型与推理加速 / CVPR2026

Otil:通过通信高效的多 GPU 并行加速扩散模型推理

Otil: Accelerating Diffusion Model Inference via Communication-Efficient Multi-GPU Parallelism

对做扩散模型高分辨率/视频生成的研究者,这是一种即插即用的多卡并行推理方案:利用相邻去噪步潜变量变化微小的性质,只同步信息量最大的潜变量子块并周期性轮询全部空间区域,可在不改架构、不重训的前提下把 GPU 间通信降低最多 87.5%,与少步采样器和低秩适配叠加后进一步提速。

多-GPU-并行扩散采样加速通信压缩
84
高效模型与推理加速 / CVPR2026

OneSparse:视觉模型中稀疏激活层的统一框架

OneSparse: A Unified Framework for Sparse Activation Layers in Vision Models

提出统一的稀疏激活层抽象(OneSparse)和Nexus层,将MoE与记忆模块结合,为视觉模型提供可插拔的高效模块,可直接用于替换CNN/Transformer中的FFN或卷积层以提升性能-效率前沿。

混合专家稀疏激活路由机制
85
高效模型与推理加速 / CVPR2026

一层的垃圾是另一层的宝藏:LVLM 中的自适应逐层视觉词元选择

One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs

对做多模态大模型视觉侧推理加速的人,这篇给出了「按层动态选择视觉词元 + 被跳过词元在后续层重新汇入」的免训练方案,并用重要性一致性约束的低秩近似来逼近全注意力,可直接替换现有静态剪枝模块以缓解早期层信息丢失。

视觉词元剪枝低秩近似免训练推理加速
86
高效模型与推理加速 / CVPR2026

OmniZip:学习一个统一且轻量的多模态数据无损压缩器

OmniZip: Learning a Unified and Lightweight Lossless Compressor for Multi-Modal Data

其模态统一分词器把图像可逆地映射为 token 序列,配合模态路由的上下文建模,为视觉研究者提供了一种把图像压缩/编码与轻量 Transformer 骨干结合的思路,可用于端侧图像存储与传输、以及作为生成模型分词器设计的参考。

无损压缩多模态统一建模模态路由
87
高效模型与推理加速 / CVPR2026

OmniZip:面向快速全模态大模型的语言模型音频引导动态词元压缩

OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models

对做视频多模态理解的人,这套「用音频显著性动态决定视频词元保留率」的免训练压缩流程可以直接插到任意 OmniLLM 的视觉编码器之后,作为长视频词元预算分配的可复用策略;其按时间组计算信息密度再交错时空剪枝的做法,也可迁移到纯视觉视频 LLM 的帧级词元裁剪。

词元压缩音视频多模态免训练加速
88
高效模型与推理加速 / CVPR2026

NuWa:为边缘设备推导轻量级类别特定视觉 Transformer

NuWa: Deriving Lightweight Class-Specific Vision Transformers for Edge Devices

对需要在无人机、智能车等边缘设备上部署 ViT 的视觉研究者,NuWa 提供了一种免重训练的闭式剪枝流程:用类别特定数据做自知识纯化,剔除对目标类别有害的权重,再一次性闭式求解得到紧凑子网,可直接复用于任意类别子集的定制化部署。

免训练剪枝闭式优化知识蒸馏
89
高效模型与推理加速 / CVPR2026

面向统一多任务推理的神经中心视频处理流水线

Neural-Centric Video Processing Pipeline for Unified Multi-Task Inference

用隐式神经表示直接从视频中间层提取任务特征,配合轻量 micro adapter 映射到下游模型表征空间,跳过像素解码与早期特征提取;对做视频多任务推理、压缩域感知或想省掉解码开销的视觉系统是可复用的加速思路。

隐式神经表示视频编码轻量适配器
90
高效模型与推理加速 / CVPR2026

神经动态全局光照:面向动态光照环境中时序光照图的随机访问神经压缩

Neural Dynamic GI: Random-Access Neural Compression for Temporal Lightmaps in Dynamic Lighting Environments

用多维特征图加轻量网络把多组时序光照图隐式整合成可随机访问的神经表示,并配合虚拟纹理实现实时解压,这套「神经表示+块压缩模拟+VT 随机访问」的组合可直接迁移到需要大容量时序数据实时读取的视觉场景(如动态环境贴图、时序辐射场缓存)。

神经压缩虚拟纹理块压缩
91
高效模型与推理加速 / CVPR2026

深度网络中的神经分化:表达性与表征多样性的理论框架

Neural Differentiation in Deep Networks: A Theoretical Framework for Expressivity and Representational Diversity

提出神经元级可微性指标 NDI 与训练时结构化剪枝方法 NDP,为视觉模型压缩提供可证明的误差上界与自适应稀疏化流程,可直接用于 CNN/ViT 等骨干网络的轻量化。

结构化剪枝神经元稀疏化网络压缩
92
高效模型与推理加速 / CVPR2026

NanoSD:面向实时图像复原的边缘高效基础模型

NanoSD: Edge Efficient Foundation Model for Real Time Image Restoration

NanoSD 通过联合压缩 U-Net 和 VAE 编码器-解码器,在保持生成先验的同时实现边缘设备实时推理,为视觉任务提供可即插即用的轻量扩散基础模型,并揭示了参数减少与硬件效率不直接相关的设计原则。

扩散模型知识蒸馏网络架构搜索
93
高效模型与推理加速 / CVPR2026

NTK引导的隐式神经教学

NTK-Guided Implicit Neural Teaching

对做隐式神经表示(图像拟合、3D重建、NeRF类场)的研究者,可直接复用其基于NTK增广梯度范数的坐标采样打分准则,替换均匀/误差驱动采样以在几乎减半的训练时间内达到同等重建质量。

隐式神经表示神经正切核坐标采样
94
高效模型与推理加速 / CVPR2026

面向图像生成的多尺度局部推测解码

Multi-Scale Local Speculative Decoding for Image Generation

把LLM中的推测解码迁移到自回归图像生成,用低分辨率drafter提出候选token、高分辨率target并行验证,并引入局部拒绝重采样替代光栅扫描式重采样,可直接用于加速自回归视觉生成模型的采样。

推测解码自回归图像生成并行解码
95
高效模型与推理加速 / CVPR2026

以文本为主、视觉为辅:面向大型视觉语言模型的非对称文本-视觉剪枝

Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models

针对多模态大模型提出非对称剪枝策略,视觉研究者可借鉴其按模态分别校准重要性的思路,用于压缩视觉-语言模型或设计模态感知的稀疏化方法。

网络剪枝多模态大模型权重重要性度量
96
高效模型与推理加速 / CVPR2026

本质子空间中的模型合并

Model Merging in the Essential Subspace

对需要把多个任务微调模型(如多个下游视觉任务的 LoRA/全参微调权重)零训练合成一个多任务模型的场景,提供基于 PCA 特征偏移子空间投影 + 低秩分解 + 极化缩放的可复用合并流程,可直接用于视觉基础模型的多任务部署。

模型合并低秩分解主成分分析
97
高效模型与推理加速 / CVPR2026

Mobile-VTON:高保真端侧虚拟试衣

Mobile-VTON: High-Fidelity On-Device Virtual Try-On

论文提出的 Feature-Guided Adversarial 蒸馏策略与潜变量拼接式轻量跨模态条件注入,为在移动端部署扩散类生成模型提供了可复用的压缩与条件控制方案;做端侧图像生成或可控生成的研究者可借鉴其教师-学生蒸馏与轨迹一致性损失的设计。

知识蒸馏扩散模型对抗训练
98
高效模型与推理加速 / CVPR2026

MoDES:通过动态专家跳过加速混合专家多模态大语言模型

MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping

MoDES 提供了一种免训练的专家跳过框架,可直接用于加速基于 MoE 的多模态大语言模型(如 Qwen3-VL-MoE)的视觉语言推理,通过全局调制局部门控和双模态阈值化,在跳过 88% 专家时仍保持甚至提升精度,并显著减少预填充和解码时间,为视觉研究者部署高效 MLLM 提供了可复用的技术手段。

专家跳过免训练推理加速多模态大语言模型
99
高效模型与推理加速 / CVPR2026

挖掘属性子空间以实现3D基础模型的高效微调

Mining Attribute Subspaces for Efficient Fine-tuning of 3D Foundation Models

提出通过合成数据挖掘与不同变化类型(纹理、几何、相机运动、光照)关联的低秩适配子空间,并整合为更紧凑的子空间用于高效微调3D基础模型,为视觉领域提供了一种可复用的参数高效微调策略。

低秩适配参数高效微调3D基础模型
100
高效模型与推理加速 / CVPR2026

基于掩码双路径蒸馏的渐隐侧网络内存高效迁移学习

Memory-Efficient Transfer Learning with Fading Side Networks via Masked Dual Path Distillation

对做视觉大模型适配的人,这篇给出了一个可直接复用的思路:微调时让冻结主干与可学习侧网络互相蒸馏,推理时直接丢掉侧网络,从而在不增加推理开销的前提下获得侧网络的适配收益;其面向多层编码器的特征蒸馏设计也可迁移到 ViT 类主干的 PEFT 方案中。

参数高效微调知识蒸馏侧网络
101
高效模型与推理加速 / CVPR2026

通过动态图像块采样与块跳过实现扩散 Transformer 的显存高效微调

Memory-Efficient Fine-Tuning Diffusion Transformers via Dynamic Patch Sampling and Block Skipping

面向 DiT 个性化微调,按扩散时间步动态调整图像块尺寸并跳过非关键 Transformer 块、预计算残差特征,可直接迁移到显存受限下的 T2I 定制与少样本适配。

扩散-Transformer动态图像块采样块跳过
102
高效模型与推理加速 / CVPR2026

MemFlow:面向快速域自适应特征映射的轻量前向记忆框架

MemFlow: A Lightweight Forward Memorizing Framework for Quick Domain Adaptive Feature Mapping

用冻结骨干网络加随机连接脉冲神经元的前向记忆机制替代反向传播微调,为视觉模型在边缘设备上做在线域自适应提供了一条无需梯度的快速路径,可直接用于测试时自适应场景。

无梯度学习测试时自适应域自适应
103
高效模型与推理加速 / CVPR2026

MeToM:元数据引导的词元合并实现高效视频大语言模型

MeToM: Metadata-Guided Token Merging for Efficient Video LLMs

对做视频多模态推理加速的人,这篇给出了一个免训练、可直接插到现有 VLLM 上的词元预算分配思路:用编解码器元数据(残差、GoP 包大小)估计空域/时域信息密度,在 tokenization、跨帧分配、LLM 内部三层分别做合并,可直接复用于任何多帧视觉编码器的 prefill 降本。

视觉词元剪枝词元合并免训练加速
104
高效模型与推理加速 / CVPR2026

映射网络

Mapping Networks

用可训练的紧凑潜向量替代高维权重空间,把训练参数量压缩约500倍,为视觉大模型(分类、Deepfake检测等)提供了一条以低维流形假设驱动的参数高效训练与抗过拟合路径,可直接迁移到其他网络的训练流程中。

低维流形参数高效训练潜空间映射
105
高效模型与推理加速 / CVPR2026

MASQuant:面向多模态大模型的模态感知平滑量化

MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models

为多模态大模型(视觉-语言)提供可直接套用的训练后量化方案:按模态分别学习平滑因子,并用 SVD 白化把跨模态激活差异压成低秩,从而在视觉 token 与文本 token 分布差异大时仍能统一量化,适合需要把 VLM 部署到低比特推理的场景。

训练后量化多模态大语言模型SVD-白化
106
高效模型与推理加速 / CVPR2026

LoPrune:面向视觉 Transformer 低秩适配微调的高效数据剪枝

LoPrune: Efficient Data Pruning for LoRA-Based Fine-Tuning of Vision Transformer

把影响函数投影到 LoRA 可训练子空间并用 K-FAC 近似样本对适配器更新的影响,为视觉模型端侧持续微调提供了一个可直接复用的样本重要性打分与剪枝流程,可迁移到任何基于低秩适配的视觉微调场景。

数据剪枝低秩适配影响函数
107
高效模型与推理加速 / CVPR2026

LiteVGGT:通过几何感知缓存词元合并加速原生 VGGT

LiteVGGT: Boosting Vanilla VGGT via Geometry-aware Cached Token Merging

把「词元合并」这一 ViT 加速手段引入 VGGT 这类多视图几何 Transformer,并利用相邻层合并决策稳定的性质缓存复用合并索引,可直接迁移到其他长序列视觉 Transformer(如多视图/视频 backbone)的推理加速与显存压缩。

词元合并几何感知FP8-量化
108
高效模型与推理加速 / CVPR2026

LinVideo:面向高效视频生成中 O(n) 注意力的后训练框架

LinVideo: A Post-Training Framework towards O(n) Attention in Efficient Video Generation

把视频扩散模型中部分自注意力模块替换为线性注意力,并用二分类器自动选择可替换层、用任意时刻分布匹配目标恢复性能,可直接迁移到任何 DiT 类视频/图像生成模型的推理加速上。

线性注意力免训练后训练框架分布匹配
109
高效模型与推理加速 / CVPR2026

LiDeRe:面向快速且数据高效密集预测的轻量读出模块

LiDeRe: A Lightweight Readout for Fast and Data-Efficient Dense Prediction

在冻结的大型视觉骨干(如 DINOv3)之上,用一个由插值与注意力构成的轻量密集读出模块替代主流 PEFT,为小数据下的分割、检测、姿态估计等密集预测任务提供更省参数、更快训练的微调范式。

参数高效微调低秩适配密集预测
110
高效模型与推理加速 / CVPR2026

LazyVAR:通过尺度级词元剪枝与并行分组解码加速视觉自回归模型

LazyVAR: Accelerating Visual Autoregressive Models via Scale-wise Token Pruning and Parallel Group Decoding

对做视觉自回归生成的研究者,这篇给出了一个免训练、即插即用的加速范式:用相邻尺度聚合潜变量特征的相似度作为尺度更新指数来指导剪枝,并在大尺度上并行解码跨尺度词元,可直接套用到 VAR/Infinity 类模型的推理管线中。

视觉自回归模型词元剪枝免训练加速
111
高效模型与推理加速 / CVPR2026

无标签跨任务 LoRA 合并与零空间压缩

Label-Free Cross-Task LoRA Merging with Null-Space Compression

提出一种无需标签、基于适配器几何的 LoRA 合并方法,可直接用于视觉任务中多个微调模型的高效融合,避免联合训练开销。

低秩适配模型合并无标签优化
112
高效模型与推理加速 / CVPR2026

LS-ViT:面向视觉 Transformer 低比特训练后量化的最小二乘 Hessian 块重建

LS-ViT: Least-Squares Hessian Based Block Reconstruction for Low-Bit Post-Training Quantization of Vision Transformers

对需要在边缘设备部署 ViT 的视觉研究者,这篇给出了一个即插即用的 4-bit 以下 PTQ 块重建方案:用最小二乘显式最小化跨样本的 Hessian 近似误差(补上被忽略的协方差项),可直接替换 APHQ-ViT/FIMA-Q 中的 Hessian 估计环节,且量化耗时更低。

训练后量化Hessian-块重建超低比特量化
113
高效模型与推理加速 / CVPR2026

LIFT 与 PLACE:一个简单、稳定且有效的轻量扩散模型知识蒸馏框架

LIFT and PLACE: A Simple, Stable, and Effective Knowledge Distillation Framework for Lightweight Diffusion Models

把教师扩散模型复杂的去噪轨迹拆成「粗对齐 + 精修」两阶段,并用按误差分组的分段局部自适应系数做空间非均匀引导,可直接用于把大 U-Net/DiT 扩散模型蒸馏到极小参数量学生模型(1.3M 参数仍收敛到 FID 15.73),是少步/轻量扩散部署的可复用训练配方。

知识蒸馏扩散模型分段局部自适应系数估计
114
高效模型与推理加速 / CVPR2026

LESA:面向扩散模型加速的可学习阶段感知预测器

LESA: Learnable Stage-Aware Predictors for Diffusion Model Acceleration

把扩散采样中的特征缓存从「简单复用/免训练外推」升级为「按噪声阶段分专家、用 KAN 学习时序特征映射」的可训练预测器,可直接套用到 DiT 类图像/视频生成模型的推理加速上,在 FLUX、Qwen-Image、HunyuanVideo 上验证了 5–6 倍加速且质量几乎不掉。

特征缓存扩散-TransformerKolmogorov-Arnold-网络
115
高效模型与推理加速 / CVPR2026

保持冻结:面向多域视觉 Transformer 的域路由条件残差调制

Keep It Frozen: Domain-Routed Conditional Residual Modulation for Multi-Domain Vision Transformers

提出一种冻结骨干网络、通过域路由和参数合成网络动态生成低秩残差调制块的方法,为视觉 Transformer 在多域(医学+自然)场景下提供参数高效的自适应方案,可复用于需要跨域泛化且计算开销敏感的任务。

参数高效微调低秩适配域路由
116
高效模型与推理加速 / CVPR2026

InTrain:面向零成本神经架构搜索的内在可训练性

InTrain: Intrinsic Trainability for Zero-Cost Neural Architecture Search

对做视觉骨干网络选型的人,InTrain 提供了一个无需训练即可给候选架构打分的统一代理:用激活协方差特征谱的参与率衡量表征有效维度、用逐层梯度健康度衡量深层反传稳定性,可直接嵌入 NAS 搜索循环替代昂贵的训练式评估。

零成本代理神经架构搜索表征几何
117
高效模型与推理加速 / CVPR2026

IF-Prune:信息流引导的词元剪枝用于高效视觉语言模型

IF-Prune: Information-Flow Guided Token Pruning for Efficient Vision-Language Models

提出基于变分信息瓶颈的视觉词元剪枝方法,利用小型VLM估计词元熵作为剪枝指导,可复用于动态分辨率视觉编码器的高效推理。

词元剪枝视觉语言模型变分信息瓶颈
118
高效模型与推理加速 / CVPR2026

HyperNAS:通过超网络增强 NAS 预测器的架构表征

HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork

对做视觉模型选型的人,HyperNAS 提供了一种用共享超网络作为辅助任务来增强架构编码、从而在极少代理样本下预测 ViT/CNN 精度的方法,可直接用于低预算的架构筛选与搜索。

神经架构搜索性能预测器超网络
119
高效模型与推理加速 / CVPR2026

高分辨率神经视频编码:双向置信度引导的参考信息建模

High Resolution Neural Video Coding with Bi-directional Confidence-Guided Reference Information Modeling

针对高分辨率视频中光流不可靠和双向预测融合失真的问题,提出置信度引导的非均匀参考信息融合与多尺度运动表示,可复用于视频压缩、帧插值等需要双向时序建模的任务。

神经视频编码双向预测运动估计
120
高效模型与推理加速 / CVPR2026

Hi-Lo Prune:在剪枝之前先看清将失去什么的分层词元选择方法

Hi-Lo Prune: Look at What You'll Lose before Pruning with Hierarchical Token Selection

对做多模态大模型视觉侧推理加速的人,这篇给出了一个可直接复用的三段式流程:先用由粗到细的分层选择挑出冗余词元与待剪候选,再在 LLM 前几层用注意力把候选词元的信息显式迁移到保留词元上,最后在指定层一次性移除,从而支持激进的高比例早期剪枝而无需微调。

视觉词元剪枝免训练加速注意力引导信息融合
121
高效模型与推理加速 / CVPR2026

HeSS:用于 VGGT 稀疏性重分配的检测头敏感度分数

HeSS: Head Sensitivity Score for Sparsity Redistribution in VGGT

对做 3D 重建/前馈几何模型的人,这篇给出了一个可直接套用的检测头级稀疏预算再分配方案:用小型校准集上的 Hessian 近似给每个注意力检测头打敏感度分,再按分数非均匀分配注意力预算,从而在 VGGT 这类全局注意力主干上以训练-free 方式换取高稀疏下的精度保持。

稀疏化全局注意力Hessian-敏感度分析
122
高效模型与推理加速 / CVPR2026

HTTM:用于加速 VGGT 的逐头时序词元合并

HTTM: Head-wise Temporal Token Merging for Faster VGGT

HTTM 提出一种免训练的词元合并方法,利用多头注意力中每个头的空间局部性和时序对应关系,在保持特征独特性的同时大幅降低 VGGT 的推理延迟,可复用于其他基于全局注意力的 3D 重建或视频理解模型。

词元合并免训练加速多头注意力
123
高效模型与推理加速 / CVPR2026

HAWK:多模态模型中头重要性感知的视觉词元剪枝

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

对做多模态视觉理解的人,这篇给出了一个免训练、即插即用的视觉词元剪枝方案:用注意力头重要性权重加权文本引导的注意力来打分并保留任务相关词元,可直接套到任意 MLLM 的视觉编码器到 LLM 的投影环节上,在剪掉 80% 视觉词元时仍保住 96% 精度。

视觉词元剪枝注意力头重要性免训练加速
124
高效模型与推理加速 / CVPR2026

梯度知道最优:基于梯度引导位分配的混合精度量化用于超分辨率

Gradient Knows Best: Mixed-Precision Quantization via Gradient-Guided Bit Allocation for Super-Resolution

提出基于梯度的量化敏感度估计和动态激活范围归一化,可直接用于超分辨率模型的混合精度量化,在保持重建质量的同时降低计算和内存开销。

混合精度量化训练后量化位宽分配
125
高效模型与推理加速 / CVPR2026

几何引导的3D视觉词元剪枝用于视频语言模型

Geometry-Guided 3D Visual Token Pruning for Video-Language Models

针对3D空间视频中视觉词元冗余问题,提出基于几何感知全局注意力和两阶段体素剪枝的方法,可复用于视频语言模型的高效推理与3D场景理解。

视觉词元剪枝几何感知注意力体素化表示
126
高效模型与推理加速 / CVPR2026

GeoRK2:面向扩散 Transformer 加速的几何引导 Runge-Kutta 积分

GeoRK2: Geometry-Guided Runge-Kutta Integration for Diffusion Transformer Acceleration

把二阶 Runge-Kutta 积分器与由噪声预测导出的曲率感知几何流结合,用激活协方差估计特征度量来约束大步长下的误差传播,可直接替换现有 DiT/视频扩散模型的采样器,实现免训练 4-5 倍加速。

扩散-Transformer无训练加速高阶数值积分
127
高效模型与推理加速 / CVPR2026

GeoFlow:基于迭代流预测的实时细粒度跨视角地理定位

GeoFlow: Real-Time Fine-Grained Cross-View Geolocalization via Iterative Flow Prediction

提出一种基于迭代流预测的轻量级跨视角定位框架,其推理算法 IRS 通过迭代采样实现灵活的精度-速度权衡,可复用于其他需要实时精确定位的视觉任务。

跨视角定位迭代优化概率映射
128
高效模型与推理加速 / CVPR2026

门控 KalmaNet:通过测试时岭回归实现的衰减记忆层

Gated KalmaNet: A Fading Memory Layer through Test-time Ridge Regression

GKA 用测试时岭回归加输入相关门控替代 softmax 注意力,在常数内存、线性复杂度下保留完整历史,可直接替换 ViT/混合架构中的注意力层;其 bfloat16 下的数值稳定化与分块切比雪夫迭代、自定义反向 kernel 对低精度长序列视觉骨干训练有直接复用价值。

线性状态空间模型测试时回归切比雪夫迭代
129
高效模型与推理加速 / CVPR2026

GR-Gauge:通过度量梯度冗余实现低成本训练配置

GR-Gauge: Cost-efficient Training Configuration By Gauging the Gradient Redundancy

提出以梯度冗余度作为轻量级信号来指导超参数搜索和试验终止,可替代传统基于验证集精度的昂贵评估,为视觉模型训练节省大量计算开销。

超参数优化梯度冗余训练加速
130
高效模型与推理加速 / CVPR2026

面向参数高效多任务学习的频率切换机制

Frequency Switching Mechanism for Parameter-Efficient Multi-Task Learning

把正弦频率调制叠加在低秩+卷积先验的单一核上,用极少量可训练参数(6.53M)实现多任务权重特化,可直接替换视觉骨干网络中的 LoRA/Adapter 做多任务稠密预测的联合微调。

参数高效微调多任务学习低秩适配
131
高效模型与推理加速 / CVPR2026

Foundry:为边缘设备蒸馏 3D 基础模型

Foundry: Distilling 3D Foundation Models for the Edge

把大型自监督 3D 基础模型蒸馏成紧凑的 SuperTokens 代理模型,学生重建教师 token 级表征,可直接用于点云分类、部件分割等下游任务的轻量化部署,为边缘端 3D 感知提供可复用的压缩范式。

知识蒸馏点云表征学习自监督预训练
132
高效模型与推理加速 / CVPR2026

预测主成分、稳定残差:面向扩散 Transformer 的子空间感知特征缓存

Forecast the Principal, Stabilize the Residual: Subspace-Aware Feature Caching for Diffusion Transformers

对做扩散 Transformer 采样加速的人,可直接把 SVD 分解 + 主/残差子空间差异化预测(主成分 EMA 预测、残差直接复用)作为免训练缓存策略,替换现有均匀缓存,并可与蒸馏、量化、稀疏注意力叠加。

特征缓存扩散-Transformer奇异值分解
133
高效模型与推理加速 / CVPR2026

FlashDecoder:基于 Transformer 的实时潜变量到像素流式解码器

FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers

把视频 VAE 的解码器从 3D 卷积换成带滚动 KV 缓存的纯 Transformer,实现定长时序窗口下的逐帧流式解码,可直接替换现有潜视频扩散模型的解码环节,在 1080p 长视频上同时降低延迟与显存。

视频扩散模型Transformer-解码器KV-缓存
134
高效模型与推理加速 / CVPR2026

面向大型视觉语言模型的细粒度训练后量化:基于量化感知积分梯度

Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients

把量化敏感度的粒度从模态级下推到词元级,用积分梯度定量衡量每个词元对量化误差的贡献,可直接迁移到任意 LVLM 的 W4A8/W3A16 部署流程中,作为校准阶段的即插即用模块。

训练后量化积分梯度词元级敏感度分析
135
高效模型与推理加速 / CVPR2026

FastLightGen:更少步数与参数的高效轻量视频生成

FastLightGen: Fast and Light Video Generation with Fewer Steps and Parameters

把「少步采样蒸馏」与「参数剪枝」放进同一个教师-学生框架里联合优化,并指出先构造一个最优教师模型是关键;做视频扩散加速时可以直接复用这套联合蒸馏流程与 4 步 + 30% 剪枝的配置经验。

扩散模型蒸馏少步采样参数剪枝
136
高效模型与推理加速 / CVPR2026

Fast-FoundationStereo:实时零样本立体匹配

Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching

把基础模型(FoundationStereo)的零样本能力通过知识蒸馏+分块 NAS+结构化剪枝压到实时帧率,这套「大模型→单学生骨干+延迟预算下搜索代价滤波+剪枝迭代精化」的加速流水线可直接复用到其他稠密预测基础模型(深度、光流、分割)的实时化。

知识蒸馏神经架构搜索结构化剪枝
137
高效模型与推理加速 / CVPR2026

FOZO:面向测试时自适应的纯前向零阶提示词优化

FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation

提供了一种无需反向传播、仅靠前向计算与零阶梯度估计即可在测试时优化提示词的方案,可直接用于低端设备或 INT8 量化模型上的在线域适应,避免修改模型权重。

测试时自适应零阶优化提示词优化
138
高效模型与推理加速 / CVPR2026

FAAR:通过自动秩选择的高效频率感知多任务微调

FAAR: Efficient Frequency-Aware Multi-Task Fine-Tuning via Automatic Rank Selection

提出频率感知的自动秩选择方法,可复用于视觉多任务微调,在减少参数量的同时提升密集预测任务性能。

参数高效微调低秩适配多任务学习
139
高效模型与推理加速 / CVPR2026

通过聚类感知上采样增强混合专家模型的特化能力

Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling

对需要在视觉-语言预训练中把稠密 CLIP 骨干升级为 MoE 的研究者,本文给出一种可复用的初始化方案:用输入激活的语义聚类 + 截断 SVD 初始化各专家、用聚类质心初始化路由器,并配合专家集成自蒸馏稳定路由,可直接替换稀疏上采样以提升零样本/少样本迁移。

稀疏上采样混合专家自蒸馏
140
高效模型与推理加速 / CVPR2026

EfficientVPR:基于场景感知提示词微调与自适应特征增强的高效视觉位置识别

EfficientVPR: Toward Efficient Visual Place Recognition via Scene-Aware Prompt Tuning and Adaptive Feature Enhancement

用场景感知的视觉提示词微调加实例相关的局部关键特征增强,在 DINOv2-small 上以低维特征实现 73 倍加速,为视觉检索类任务提供了一条「不靠堆模型容量、不靠重排序」的效率路线,可直接迁移到图像检索与重定位的特征提取环节。

视觉位置识别提示词微调参数高效微调
141
高效模型与推理加速 / CVPR2026

基于循环动态子模型的高效视频目标分割与跟踪

Efficient Video Object Segmentation and Tracking with Recurrent Dynamic Submodel

对需要在视频分割/跟踪中部署 SAM2 这类大模型的人,RDS 给出了一条可复用的路线:用轻量路由器基于上一帧分割掩码和当前帧特征逐帧选择子模型块,把时序信息直接注入动态剪枝决策,从而把理论计算削减转化为真实加速;I-LoRA 只微调关键块的做法也可迁移到其他大模型的高效适配。

动态网络模型剪枝低秩适配
142
高效模型与推理加速 / CVPR2026

面向人体视频生成的高效训练:熵引导的优先渐进学习

Efficient Training for Human Video Generation with Entropy-Guided Prioritized Progressive Learning

提出条件熵膨胀(CEI)来量化模型各组件对条件生成任务的重要性,并据此安排训练优先级;同时用收敛效率自适应地提升训练复杂度。这套「按重要性排序 + 渐进加难」的训练调度可直接迁移到高分辨率视频扩散模型或大分辨率图像扩散模型的训练中,以降低显存与时间开销。

渐进式训练扩散模型条件熵
143
高效模型与推理加速 / CVPR2026

面向光流估计的高效全对相关体采样

Efficient All-Pairs Correlation Volume Sampling for Optical Flow Estimation

RAFT 式全对相关体采样可换成内存与计算双高效的实现,且数学上与原算子完全等价,可直接替换现有光流网络中的 cost volume 采样层,从而在高分辨率输入上以更低显存和延迟获得更精细的匹配细节。

相关体采样光流估计高分辨率推理
144
高效模型与推理加速 / CVPR2026

效率源于全局-局部解耦

Efficiency Follows Global-Local Decoupling

把全局上下文聚合与局部特征提取拆成两条分支、用轻量 token 上的神经记忆做全局推理,可作为一种即插即用的骨干设计,在分类/检测/分割中替代全全局注意力以换取更优的精度-延迟权衡。

双分支架构全局-局部解耦门控机制
145
高效模型与推理加速 / CVPR2026

Edge-RecViT:基于语义精炼动态递归的高效视觉 Transformer

Edge-RecViT: Efficient Vision Transformer via Semantic-Refined Dynamic Recursion

把「边缘词元富含结构信息」这一先验引入词元级动态深度分配,并配合隐层全共享参数的递归 Transformer,可在不改架构族的前提下同时压缩浮点运算量与参数量,适合直接迁移到 ViT 骨干的轻量化改造。

动态深度计算参数共享词元自适应
146
高效模型与推理加速 / CVPR2026

EarlyTom:早期词元压缩实现快速视频理解

EarlyTom: Early Token Compression Completes Fast Video Understanding

把视觉词元压缩从预填充后段前移到视觉编码器内部,并给出解耦的空间词元选择策略,可直接复用到任何 Video-LLM 的视觉编码器前端以降低 TTFT 与浮点运算量。

视觉词元压缩免训练加速视频大语言模型
147
高效模型与推理加速 / CVPR2026

ERMoE:用于稳定路由与可解释专家特化的特征基重参数化混合专家模型

ERMoE: Eigen-Reparameterized Mixture-of-Experts for Stable Routing and Interpretable Specialization

用专家表示空间的正交特征基余弦相似度替代可学习门控 logits 做路由,可作为一种免辅助负载均衡损失的 MoE 路由方案,直接迁移到视觉 Transformer 的稀疏扩容与多模态检索骨干中。

混合专家稀疏激活负载均衡
148
高效模型与推理加速 / CVPR2026

E$^2$-SCI:基于信用惯性的弹性边云推测解码

E$^2$-SCI: Elastic Edge-Cloud Speculative Decoding via Credit Inertia

推测解码的接受率在相邻词元窗口间存在时序一致性(credit inertia),可据此动态调整草稿词元的验证阈值,并以异步流水线隐藏延迟;做视觉语言模型或扩散模型少步采样加速时,可把这一「按历史表现弹性放宽/收紧验证」的思路迁移到多步生成或自回归解码的验证环节。

推测解码边云协同推理自适应阈值
149
高效模型与推理加速 / CVPR2026

DuetMerging:协同动态与静态策略以缓解模型合并中的任务干扰

DuetMerging: Synergizing Dynamic and Static Strategies for Mitigating Task Interference in Model Merging

对需要把多个视觉专家模型(如不同域/任务的检测、分割模型)合并成单一多任务网络的研究者,提供了一套可复用的合并流程:先用 Tucker 分解在共享核心张量上构建统一专家池,再用任务特定神经元激活模式生成掩码保留残差关键信息,可直接替换 TIES/DARE 等任务向量合并步骤。

模型合并Tucker-分解混合专家
150
高效模型与推理加速 / CVPR2026

面向高效非对称无人机跟踪的双分支蒸馏 Transformer

Dual-branch Distilled Transformer for Efficient Asymmetric UAV Tracking

面向视觉跟踪的教师引导双分支蒸馏方案(特征级+预测级+目标感知细粒度蒸馏)可直接迁移到任意轻量骨干的跟踪器或检测器上,用于在压缩骨干的同时保住目标表征与定位精度;推理期时序自适应模块也提供了一个低开销提升时序鲁棒性的可复用插件。

知识蒸馏无人机跟踪轻量化骨干网络
151
高效模型与推理加速 / CVPR2026

面向自适应与成本感知视觉惯性里程计的双智能体强化学习

Dual-Agent Reinforcement Learning for Adaptive and Cost-Aware Visual-Inertial Odometry

用轻量强化学习智能体动态决定视觉前端是否运行以及融合权重,为资源受限平台上的视觉惯性里程计提供了一种可复用的计算调度思路。

强化学习视觉惯性里程计自适应计算
152
高效模型与推理加速 / CVPR2026

YOLO 真的需要在每个 epoch 看到每一张训练图像吗?

Does YOLO Really Need to See Every Training Image in Every Epoch?

AFSS 把「每张图的学习充分度」定义为检测召回率与精确率的最小值,并据此动态划分易/中/难样本、按连续复习方式稀疏重采样,可直接迁移到任意检测器或分割模型的训练循环中,作为降低每轮数据量、加速收敛的通用数据调度手段。

数据采样策略训练加速目标检测
153
高效模型与推理加速 / CVPR2026

从有偏教师中蒸馏平衡知识

Distilling Balanced Knowledge from a Biased Teacher

把蒸馏目标拆成跨组损失与组内损失,并分别做组级校准与重加权,可直接用于任何长尾视觉分类任务中从有偏教师迁移平衡知识,也可迁移到检测/分割的长尾蒸馏。

知识蒸馏长尾分布类别不平衡学习
154
高效模型与推理加速 / CVPR2026

发现自适应任务依赖以实现高效多任务表征压缩

Discovering Adaptive Task Dependencies for Efficient Multi-Task Representation Compression

对做多任务视觉表征学习的人,这篇给出了用可学习相关矩阵推断任务间可预测性、再按动态 DAG 条件编码来去除任务间冗余的思路,可迁移到多任务特征存储与传输、以及多任务模型的特征共享结构设计上。

多任务学习有向无环图率失真优化
155
高效模型与推理加速 / CVPR2026

DisCa:面向视频扩散 Transformer 的蒸馏兼容可学习特征缓存加速

DisCa: Accelerating Video Diffusion Transformers with Distillation-Compatible Learnable Feature Caching

用轻量可学习神经预测器替代无训练启发式特征缓存,并与步数蒸馏联合优化,可直接迁移到任意视频扩散 Transformer 的少步推理管线中以降低采样开销。

特征缓存步数蒸馏扩散-Transformer
156
高效模型与推理加速 / CVPR2026

去噪即路径规划:基于 DPCache 的扩散模型免训练加速

Denoising as Path Planning: Training-Free Acceleration of Diffusion Models with DPCache

把扩散采样中「跳过哪些时间步」从局部启发式升级为基于路径代价张量 + 动态规划的全局调度,可直接套用到 DiT/FLUX/视频扩散等任意迭代采样器的免训练加速上,是缓存类加速方法(DeepCache、TeaCache 等)的通用改进思路。

扩散采样加速特征缓存动态规划
157
高效模型与推理加速 / CVPR2026

DeltaQuant:基于时空差分平滑的 4 比特视频扩散模型

DeltaQuant: 4-bit Video Diffusion Models with Spatiotemporal Delta Smoothing

DeltaQuant 将视频扩散模型中的激活值按 3D 时空立方体分组,仅对差分词元做 4-bit 量化,核心词元保留 FP8,为视频生成模型在消费级 GPU 上的低比特推理提供了可复用的量化范式。

量化视频扩散模型低秩分解
158
高效模型与推理加速 / CVPR2026

分解、混合、适配:参数高效神经网络重组与压缩的统一框架

Decompose, Mix, Adapt: A Unified Framework for Parameter-Efficient Neural Network Recombination and Compression

提出一种统一的权重分解与重组框架,可同时实现参数高效微调(PEFT)和模型压缩(MC),为视觉模型(如ViT)在边缘设备上的部署提供了一种可复用的技术方案。

参数高效微调模型压缩权重分解
159
高效模型与推理加速 / CVPR2026

DeDelayed:通过设备端校正消除远程推理延迟

DeDelayed: Deleting Remote Inference Delay via On-Device Correction

提出一种端云协同推理框架,将远程模型(处理延迟帧)与本地模型(处理当前帧)联合优化,并利用自编码器压缩传输比特率,为实时视频理解任务在资源受限平台上的低延迟部署提供了可复用的系统级方案。

端云协同推理视频流分割联合优化
160
高效模型与推理加速 / CVPR2026

DSFlash:实时全景场景图生成的全方位方案

DSFlash: Comprehensive Panoptic Scene Graph Generation in Realtime

对需要把场景图生成部署到边缘设备或视频流的研究者,DSFlash 提供了一个低延迟、可单卡训练的实时全景场景图生成基线,其「不牺牲性能换速度」且输出完整(非仅显著)关系的设定,可直接作为下游具身推理的中间表示模块复用。

全景场景图生成实时推理低延迟模型
161
高效模型与推理加速 / CVPR2026

DDiT:面向高效扩散 Transformer 的动态图像块调度

DDiT: Dynamic Patch Scheduling for Efficient Diffusion Transformers

把 DiT 固定的图像块划分换成随去噪时间步与内容复杂度变化的动态图像块尺寸,是一种无需训练、即插即用的推理加速手段,可直接套用到 FLUX、Wan 等基于 Transformer 的扩散生成模型上,在几乎不损失生成质量的前提下减少 token 数量。

动态图像块划分扩散-Transformer免训练推理加速
162
高效模型与推理加速 / CVPR2026

DABO:基于扩散学习先验的难度感知贝叶斯优化

DABO: Difficulty-Aware Bayesian Optimization with Diffusion-Learned Priors

对视觉研究者而言,DABO 提供了一套可直接复用的超参数搜索框架:用条件扩散模型在真实学习曲线上生成合成数据,训练难度感知代理模型与采集函数,从而在有限算力预算下更高效地调参(如检测、分割、生成模型的训练超参),减少在简单区域浪费的搜索预算。

贝叶斯优化扩散模型超参数优化
163
高效模型与推理加速 / CVPR2026

D2Cache:面向更高视频扩散加速的二阶差分缓存

D2Cache: Second-Order Delta Caching for Higher Video Diffusion Acceleration

D2Cache 提出一种免训练的二阶残差缓存机制,通过利用一阶残差的时序差分(二阶残差)来更准确地预测未来时间步的输出,并基于时间步嵌入估计误差来自适应缩放二阶残差。该技术可直接用于加速视频扩散模型的推理,在 Latte、Open-Sora、LTX-video 和 Wan2.1 上均优于 TeaCache,且在高加速比下增益更大。

缓存加速视频扩散模型二阶残差
164
高效模型与推理加速 / CVPR2026

面向显存高效测试时自适应的曲率感知零阶优化

Curvature-Aware Zeroth-Order Optimization for Memory-Efficient Test-Time Adaptation

用仅前向的零阶梯度估计替代反向传播来做测试时自适应,并借助对角 Hessian 的滑动平均构造各向异性扰动协方差,为显存受限的端侧视觉模型提供了一条可复用的免 BP 适配路径。

零阶优化测试时自适应黑塞矩阵低秩结构
165
高效模型与推理加速 / CVPR2026

面向高效视频扩散的内容感知动态图像块划分

Content-Aware Dynamic Patchification for Efficient Video Diffusion

把「固定图像块划分」换成由轻量 router 从 3D VAE latent 预测每个时空区域的 patch 大小,并配可学习的 patchify/unpatchify 层,可直接插到现有 DiT 骨干上;做视频/图像扩散加速时,这是一个无需改架构就能减少词元数的即插即用方案,其注意力引导的显著性对齐损失也可迁移到其他词元压缩方法。

动态图像块划分扩散-Transformer词元剪枝
166
高效模型与推理加速 / CVPR2026

基于超像素化相机的计算机视觉

Computer Vision with a Superpixelation Camera

把超像素分割前移到相机端做在线自适应压缩,为边缘设备上的分割、检测、单目深度估计提供低内存输入;做端侧视觉系统的人可以借鉴这种「传感器-算法协同」的降数据量思路,替代在图像域事后压缩。

超像素分割边缘计算计算摄影
167
高效模型与推理加速 / CVPR2026

关键时刻用彩色:灰度引导的在线触发用于常开流式视频感知

Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing

提出灰度常开、彩色按需的传感范式,利用轻量二次规划在线检测彩色冗余,并配合动态词元路由降低推理成本,为边缘设备上的流式视频理解提供可复用的触发与调度机制。

动态计算自适应帧采样视频理解
168
高效模型与推理加速 / CVPR2026

面向视觉语言模型的协同多模式剪枝

Collaborative Multi-Mode Pruning for Vision-Language Models

对需要在边缘设备部署 VLM 的视觉研究者,这篇给出了参数剪枝与词元剪枝联合进行的框架:CIM 把词元显著性纳入参数重要性打分、并反向抑制已剪参数对词元打分的影响,MPS 用剪枝代价驱动的多阶段调度自适应切换剪枝模式,可直接迁移到 BLIP、LLaVA 类多模态模型的压缩流程中。

联合参数与词元剪枝重要性度量多阶段剪枝调度
169
高效模型与推理加速 / CVPR2026

CoIn:面向高效大型多模态模型的覆盖度与信息量引导词元削减

CoIn: Coverage and Informativeness-Guided Token Reduction for Efficient Large Multimodal Models

把视觉词元裁剪建模为「信息量 + 覆盖度」的联合最优子集选择,用基于体积的覆盖度准则保证特征空间全局代表性,且与 kernel 级推理加速器兼容——做 LMM 推理加速或多模态 token 压缩时可直接替换 importance-only 或 pairwise 去冗余的选 token 策略。

视觉词元压缩免训练加速子集选择
170
高效模型与推理加速 / CVPR2026

Co-Me:面向视觉几何 Transformer 的置信度引导词元合并

Co-Me: Confidence Guided Token Merging for Visual Geometric Transformers

对做多视图/流式几何 Transformer(VGGT、Pi3)的人,这是一种即插即用的免训练加速手段:用轻量置信度预测器给词元排序并合并低置信词元,在保持空间覆盖的同时把序列长度带来的算力开销压下来,可直接用于实时 3D 感知与重建的部署。

词元合并免训练加速置信度预测
171
高效模型与推理加速 / CVPR2026

模型链预训练:重新思考视觉基础模型的训练加速

Chain-of-Models Pre-Training: Rethinking Training Acceleration of Vision Foundation Models

CoM-PT 提出在模型家族层面按规模递增顺序进行链式预训练,仅最小模型独立训练,其余模型通过参数空间与特征空间的逆向知识迁移从更小模型高效获得性能,为视觉基础模型的大规模预训练提供了一种可复用的加速范式。

知识迁移预训练模型家族
172
高效模型与推理加速 / CVPR2026

CaT-GS:基于帧间缓存与瓦片调度的大规模场景高效3DGS渲染

CaT-GS: Efficient 3DGS Rendering for Large-Scale Scenes with Inter-frame Caching and Tile Scheduling

针对3DGS大规模场景渲染中的冗余计算与瓦片负载不均衡问题,提出帧间缓存与专用光栅化内核,可直接用于加速现有3DGS管线而无需重训练。

3D高斯泼溅实时渲染帧间缓存
173
高效模型与推理加速 / CVPR2026

CAR-SAM:面向分割一切模型训练后量化的交叉注意力重建

CAR-SAM: Cross-Attention Reconstruction for Post-Training Quantization of the Segment Anything Model

针对 SAM 解码器中交叉注意力结构做训练后量化,提出把 MatMul 激活量化误差转移到前置线性权重的补偿机制,以及联合重建双向耦合注意力分支的策略,可直接迁移到其他含交叉注意力的视觉 Transformer 模型(如检测、分割解码器)的低比特部署。

训练后量化低比特量化交叉注意力重建
174
高效模型与推理加速 / CVPR2026

无块效应的基于块的学习图像压缩

Block-based Learned Image Compression without Blocking Artifacts

给出一个解析框架,通过卷积/转置卷积层推导重叠传播,精确算出无块效应重建所需的最小重叠量,可直接套用到任意 CNN 图像处理网络(超分、去噪、复原)做分块推理,在不重训练的前提下把峰值显存和计算量降到约 13% 和 2%。

分块推理重叠传播分析无训练加速
175
高效模型与推理加速 / CVPR2026

BinaryAttention:面向视觉与扩散Transformer的一比特QK注意力

BinaryAttention: One-Bit QK-Attention for Vision and Diffusion Transformers

将注意力中的QK点积二值化为符号位运算,用位运算替代浮点乘法,在视觉Transformer和扩散Transformer上实现端到端加速,为低比特注意力提供可复用方案。

二值化注意力量化感知训练自蒸馏
176
高效模型与推理加速 / CVPR2026

BiGain:面向生成与分类联合任务的统一词元压缩

BiGain: Unified Token Compression for Joint Generation and Classification

对做扩散模型加速的人,这篇给出了一个免训练、即插即用的词元压缩方案:用拉普拉斯门控的词元合并保留高频边缘纹理,用最近邻与平均池化之间的可控内插外推来压缩 KV,从而在同等加速比下同时保住生成质量与判别能力,可直接套用到 DiT/U-Net 骨干的推理管线中。

词元合并KV-缓存压缩免训练加速
177
高效模型与推理加速 / CVPR2026

超越固定公式:面向高效扩散模型的数据驱动线性预测器

Beyond Fixed Formulas: Data-Driven Linear Predictor for Efficient Diffusion Models

把手工设计的 Taylor 式特征外推系数换成按时间步学习的线性权重,只需少量缓存轨迹、单卡约 20 秒即可训好,可直接插到 DiT/FLUX/Qwen-Image 等现有采样管线上做免训练加速,是特征缓存类加速方法的一个即插即用替换件。

特征缓存扩散-Transformer免训练加速
178
高效模型与推理加速 / CVPR2026

面向动态数据剪枝的批损失分数

Batch Loss Score for Dynamic Data Pruning

对视觉模型训练而言,BLS 提供了一种无需逐样本损失即可估计样本重要性的三行代码级方案,可直接嵌入现有动态数据剪枝流程,在检测、分割、视频等逐样本损失难以获取的复杂损失场景下实现 20%-50% 的无损剪枝加速。

动态数据剪枝指数移动平均训练加速
179
高效模型与推理加速 / CVPR2026

面向大型视觉语言模型的注意力感知推理优化与显存高效解码

Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding

针对多图/视频长上下文 VLM 解码时 KV 缓存显存爆炸的问题,用隐式低秩结构压缩多头注意力的 K/V 矩阵,并配合 token 级注意力感知解压降低延迟;做视觉长上下文推理加速的工作可直接复用该 KV 压缩与解压调度思路,且能与 eviction、量化、kernel fusion 叠加。

KV-缓存压缩低秩分解注意力感知量化
180
高效模型与推理加速 / CVPR2026

注意力手术:一种高效线性化视频扩散 Transformer 的配方

Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer

提出一种无需从头训练即可将预训练视频扩散 Transformer 中的 softmax 注意力替换为线性或混合注意力的高效框架,结合蒸馏与微调,显著降低长视频生成的计算成本,为视觉生成模型的高效部署提供可复用方案。

线性注意力混合注意力知识蒸馏
181
高效模型与推理加速 / CVPR2026

先注视再注意力:通过自回归注视实现高效可扩展的视频理解

Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing

把「先看再算」做成可插拔的轻量模块:用自回归+强化学习在 ViT/MLLM 之前挑出最小多尺度 patch 集合,并以重建误差阈值控制保真度,可直接用于长视频、高分辨率输入下的 token 削减与推理加速。

视觉-token-压缩自回归-patch-选择强化学习
182
高效模型与推理加速 / CVPR2026

ApET:面向高效视觉语言模型的近似误差引导词元压缩

ApET: Approximation-Error Guided Token Compression for Efficient VLMs

用线性近似重构误差衡量视觉词元信息量并据此剪枝,摆脱对 [CLS] 注意力或文本-视觉交叉注意力的依赖,从而兼容 FlashAttention,可直接用于任意 VLM 的视觉编码器输出端做免训练或轻量加速。

视觉词元压缩FlashAttention线性近似
183
高效模型与推理加速 / CVPR2026

自适应谱特征预测用于扩散采样加速

Adaptive Spectral Feature Forecasting for Diffusion Sampling Acceleration

把去噪器潜变量特征视为随时间变化的函数,用切比雪夫多项式加岭回归做全局长程预测,可在不训练的前提下替换现有特征缓存复用策略,直接用于 DiT 类图像/视频扩散模型的少步采样加速。

扩散采样加速特征缓存与复用切比雪夫多项式拟合
184
高效模型与推理加速 / CVPR2026

自适应时空窗口:释放事件相机在异构速度场景中的潜力

Adaptive Spatial-Temporal Window: Unlocking the Potential of Event Cameras in Heterogeneous Velocity Scenarios

提出基于最大熵原理的事件流自适应时空窗口划分策略,可替代固定时间/固定计数的事件分组方式,直接用于事件相机下游任务(如目标检测、跟踪)的预处理环节,提升异构速度场景下的特征质量。

事件相机自适应时间窗口最大熵原理
185
高效模型与推理加速 / CVPR2026

自适应深度轻量级 RGB-T 跟踪与整体令牌路由

Adaptive Depth Lightweight RGB-T Tracking with Holistic Token Routing

自适应早退策略和整体令牌引导的跨模态交互模块可被复用于其他多模态跟踪或轻量化视觉任务,在保持精度的同时显著降低计算量和延迟。

早退机制跨模态交互轻量化跟踪
186
高效模型与推理加速 / CVPR2026

适配轻量级图像计数模型的视频人群计数

Adapting Lightweight Image-based Counting Models for Video Crowd Counting

把视频中的时空信息定义为可统计解释的量,并用统计正则项在训练阶段注入,从而让任意轻量图像计数模型无需额外模块、无需多帧缓存即可获得时序增益;对做视频密集预测、想在边缘端实时部署的人,这是一个可直接套用的「训练时加正则、推理时零开销」范式。

人群计数统计正则化时空信息建模
187
高效模型与推理加速 / CVPR2026

AdaSpark:面向高效长视频理解的自适应稀疏性

AdaSpark: Adaptive Sparsity for Efficient Long-Video Understanding

AdaSpark 的「3D 时空立方体划分 + 熵驱动 Top-p 自适应选择」可直接迁移到任何长视频或多帧输入的视觉 Transformer 中,用输入复杂度动态决定注意力与 FFN 的计算预算,在保留细粒度与长程时序依赖的同时降低浮点运算量。

稀疏注意力视频大语言模型自适应计算分配
188
高效模型与推理加速 / CVPR2026

AdaSVD:面向大型多模态模型的自适应奇异值分解

AdaSVD: Singular Value Decomposition with Adaptive Mechanisms for Large Multimodal Models

对需要在有限显存下部署视觉语言模型的研究者,adaComp 的交替更新奇异矩阵补偿截断误差、adaCR 的逐层自适应压缩比分配,可直接套用到任意 Transformer 主干(如 ViT、LLM 解码器)的低秩压缩流程中。

奇异值分解压缩自适应压缩比大模型压缩
189
高效模型与推理加速 / CVPR2026

AdaRadar:面向雷达感知的率自适应谱压缩

AdaRadar: Rate Adaptive Spectral Compression for Radar-based Perception

提出一种基于检测置信度代理梯度的自适应压缩框架,利用零阶梯度近似解决不可微操作(剪枝、量化)的梯度回传问题,可复用于视觉任务中需要动态调整压缩率或传输带宽的场景。

自适应压缩离散余弦变换零阶梯度估计
190
高效模型与推理加速 / CVPR2026

AdaCluster:面向视频生成的稀疏注意力自适应查询-键聚类

AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation

对做视频扩散 Transformer 推理加速的人,这篇给出了一个免训练的稀疏注意力方案:对 query 用保角相似度的聚类、对 key 用保欧氏相似度的聚类,并配合按阈值自适应确定簇数与关键簇选择,可直接套到 CogVideoX、HunyuanVideo、Wan 等 DiT 主干上换取 1.67x–4.31x 加速。

稀疏注意力免训练加速视频扩散-Transformer
191
高效模型与推理加速 / CVPR2026

AdaBet:面向深度神经网络高效训练的无梯度层选择方法

AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks

用Betti数分析激活空间拓扑、仅靠前向传播即可选出高学习能力的层与通道,为视觉模型在边缘设备上的端侧微调提供了一种免梯度、免标签的层选择手段,可直接嵌入现有迁移学习/域自适应流程以降低显存与反向传播开销。

无梯度层选择Betti数拓扑分析端侧训练
192
高效模型与推理加速 / CVPR2026

通过层级词元压缩加速流式视频大语言模型

Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

STC 的层级词元压缩思路可直接用于任何流式视频视觉语言模型:在 ViT 端缓存并复用时序相似帧的特征,在 LLM 预填充前按时空相关性剪枝视觉词元,从而在不重训练的情况下降低延迟,适合实时视频理解部署。

词元压缩流式视频理解视觉语言模型
193
高效模型与推理加速 / CVPR2026

通过异构缓存加速基于扩散的视频编辑:超越在采样去噪时间步上的全量计算

Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep

对做视频扩散编辑的人,HetCache 提供了一种免训练、可插拔的 DiT 推理加速手段:按空间先验把时空 token 分为上下文 token 与生成 token,只缓存与生成 token 相关性最强的上下文 token,从而跳过冗余注意力计算,可直接套用到 MV2V 类编辑管线以降低延迟与浮点运算量。

免训练加速扩散-Transformer令牌缓存
194
高效模型与推理加速 / CVPR2026

基于条件引导调度的混合数据-流水线并行扩散加速

Accelerating Diffusion via Hybrid Data-Pipeline Parallelism Based on Conditional Guidance Scheduling

对做扩散模型部署的人,这篇给出了一个可直接复用的思路:把条件/无条件两条去噪路径当作数据划分维度,并按两条路径的去噪差异自适应切换流水线并行度,从而在多卡上把生成延迟压下来而不引入明显伪影。

扩散模型加速分布式并行推理流水线并行
195
高效模型与推理加速 / CVPR2026

通过历史引导缓存与残差校正加速自回归视频扩散

Accelerating Autoregressive Video Diffusion via History-Guided Cache and Residual Correction

对做自回归视频扩散的人,这篇给出了一个免训练、即插即用的缓存调度与残差校正方案:用历史片段自适应决定每段何时复用缓存,并对后续片段修正残差轨迹,从而抑制长视频生成中的误差累积,可直接套用到 FramePack、SkyReels 这类分段生成管线上。

免训练加速缓存复用残差校正
196
高效模型与推理加速 / CVPR2026

ACE-Merging:基于自适应协方差估计的无数据模型合并

ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation

对视觉研究者而言,这是一种无需原始训练数据即可把多个视觉专家(如不同下游任务的微调模型)合并为单一模型的闭式方法,利用微调更新估计输入协方差来抑制任务间干扰,可直接用于多任务模型部署与权重融合。

模型合并无数据方法协方差估计
197
高效模型与推理加速 / CVPR2026

双向模型缩放中知识迁移的统一框架

A Unified Framework for Knowledge Transfer in Bidirectional Model Scaling

把模型权重当作连续信号、用 DWT/IDWT 的分解层级作为缩放因子,可在不重新预训练的情况下把 ViT/DeiT 类视觉骨干在大小之间迁移,为视觉模型扩容或压缩提供免训练的参数初始化手段。

知识迁移离散小波变换模型缩放
198
高效模型与推理加速 / CVPR2026

2ndMatch:通过二阶雅可比匹配微调剪枝后的扩散模型

2ndMatch: Finetuning Pruned Diffusion Models via Second-Order Jacobian Matching

把稠密教师模型对扰动的敏感度(J^⊤J)作为迁移信号来微调剪枝后的扩散模型,是一种与架构无关的通用微调手段,可直接套用到 U-Net 或 Transformer 扩散模型的压缩流程中,也可迁移到其他需要从教师模型迁移二阶信息的蒸馏场景。

扩散模型剪枝知识蒸馏二阶雅可比匹配