Tag · 11 篇
词元合并
面向视觉 Transformer 的显著性驱动词元合并
Saliency-Driven Token Merging for Vision Transformers
提供了一种免训练的词元合并策略：利用输入图块的潜在视觉显著性统计量判断哪些词元与全局梯度方向不一致，从而安全合并，可直接插入任意 ViT 主干以降低浮点运算量，无需微调。
面向行人重识别的 SSM 感知词元高效 VMamba：自适应图像块剪枝与合并
SSM-Aware Token-Efficient VMamba via Adaptive Patch Pruning and Merging for Person Re-Identification
把视觉状态空间模型（VMamba）中冗余的词元按层自适应剪枝、按深度合并，并学习逐层阈值来动态权衡精度与算力；做视觉主干加速的人可直接把这套结构化词元削减策略迁移到 ViT/SSM 类骨干上。
ResCa：面向扩散 Transformer 加速的残差缓存
ResCa: Residual Caching for Diffusion Transformers Acceleration
把「代理去噪」思路用于扩散 Transformer 的推理加速：在每个轨迹聚类内只对一个代理词元做真实去噪，再用其多阶残差模拟其余词元的去噪，从而在保持自洽且更新的去噪轨迹下大幅削减 GFLOPs，可直接套用到 DiT/FLUX/视频生成模型的采样环节。
Merge3D：通过联合2D-3D词元合并实现高效3D多模态大语言模型
Merge3D: Efficient 3D Multimodal LLMs via Joint 2D-3D Token Merging
提出一种几何感知的词元合并框架，利用2D注意力选择语义显著词元，并结合2D+3D混合相似度聚合空间邻域上下文，可在激进压缩下保留3D结构先验与帧间对应关系，为多视图3D场景理解中的视觉词元冗余问题提供可复用方案。
MeToM：元数据引导的词元合并实现高效视频大语言模型
MeToM: Metadata-Guided Token Merging for Efficient Video LLMs
对做视频多模态推理加速的人，这篇给出了一个免训练、可直接插到现有 VLLM 上的词元预算分配思路：用编解码器元数据（残差、GoP 包大小）估计空域/时域信息密度，在 tokenization、跨帧分配、LLM 内部三层分别做合并，可直接复用于任何多帧视觉编码器的 prefill 降本。
LiteVGGT：通过几何感知缓存词元合并加速原生 VGGT
LiteVGGT: Boosting Vanilla VGGT via Geometry-aware Cached Token Merging
把「词元合并」这一 ViT 加速手段引入 VGGT 这类多视图几何 Transformer，并利用相邻层合并决策稳定的性质缓存复用合并索引，可直接迁移到其他长序列视觉 Transformer（如多视图/视频 backbone）的推理加速与显存压缩。
HTTM：用于加速 VGGT 的逐头时序词元合并
HTTM: Head-wise Temporal Token Merging for Faster VGGT
HTTM 提出一种免训练的词元合并方法，利用多头注意力中每个头的空间局部性和时序对应关系，在保持特征独特性的同时大幅降低 VGGT 的推理延迟，可复用于其他基于全局注意力的 3D 重建或视频理解模型。
高效无编码器的基于傅里叶的 3D 大型多模态模型
Efficient Encoder-Free Fourier-based 3D Large Multimodal Model
用空间填充曲线序列化加 FFT 近似自注意力，替代重型 3D 编码器做全局上下文建模，并用傅里叶增强的低秩适配把频域交互注入 LLM，为视觉侧设计轻量 3D 词元化与无编码器多模态架构提供可复用范式。
DPAR：面向高效自回归视觉生成的动态图像块划分
DPAR: Dynamic Patchification for Efficient Autoregressive Visual Generation
用轻量无监督自回归模型的下一词元预测熵作为信息量准则，动态合并词元为大图像块，可直接迁移到任何 decoder-only 视觉自回归生成器中以降低注意力计算并加速收敛。
Co-Me：面向视觉几何 Transformer 的置信度引导词元合并
Co-Me: Confidence Guided Token Merging for Visual Geometric Transformers
对做多视图/流式几何 Transformer（VGGT、Pi3）的人，这是一种即插即用的免训练加速手段：用轻量置信度预测器给词元排序并合并低置信词元，在保持空间覆盖的同时把序列长度带来的算力开销压下来，可直接用于实时 3D 感知与重建的部署。
BiGain：面向生成与分类联合任务的统一词元压缩
BiGain: Unified Token Compression for Joint Generation and Classification
对做扩散模型加速的人，这篇给出了一个免训练、即插即用的词元压缩方案：用拉普拉斯门控的词元合并保留高频边缘纹理，用最近邻与平均池化之间的可控内插外推来压缩 KV，从而在同等加速比下同时保住生成质量与判别能力，可直接套用到 DiT/U-Net 骨干的推理管线中。