Tag · 4 篇
KV-缓存压缩
STAC：面向流式三维重建的即插即用时空感知缓存压缩
STAC: Plug-and-Play Spatio-Temporal Aware Cache Compression for Streaming 3D Reconstruction
针对因果 VGGT 类流式三维重建中 KV 缓存随流长线性增长的问题，利用注意力时空稀疏性做词元级缓存淘汰与体素对齐压缩，可直接迁移到任何使用长上下文 KV 缓存的视觉 Transformer 流式推理场景。
MuKV：面向长流式视频问答的多粒度 KV 缓存压缩
MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering
对做长视频多模态理解的人，这篇给出了一个可直接复用的 KV 缓存压缩思路：在 patch、帧、片段三个粒度上保留视觉词元，并用自注意力与频率双信号筛选词元，再配合半分层检索取回相关缓存，从而在有限显存下支撑长流式视频问答。
BiGain：面向生成与分类联合任务的统一词元压缩
BiGain: Unified Token Compression for Joint Generation and Classification
对做扩散模型加速的人，这篇给出了一个免训练、即插即用的词元压缩方案：用拉普拉斯门控的词元合并保留高频边缘纹理，用最近邻与平均池化之间的可控内插外推来压缩 KV，从而在同等加速比下同时保住生成质量与判别能力，可直接套用到 DiT/U-Net 骨干的推理管线中。
面向大型视觉语言模型的注意力感知推理优化与显存高效解码
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
针对多图/视频长上下文 VLM 解码时 KV 缓存显存爆炸的问题，用隐式低秩结构压缩多头注意力的 K/V 矩阵，并配合 token 级注意力感知解压降低延迟；做视觉长上下文推理加速的工作可直接复用该 KV 压缩与解压调度思路，且能与 eviction、量化、kernel fusion 叠加。