Tag · 3 篇
FlashAttention
01 02 03
VMonarch：面向高效视频扩散 Transformer 的结构化注意力
VMonarch: Efficient Video Diffusion Transformers with Structured Attention
把 Monarch 结构化矩阵引入视频 DiT 的时空注意力，用交替最小化在线拟合动态稀疏模式，并配合重计算与在线熵估计融合进 FlashAttention，可直接替换长视频生成中的全注意力层，在 90% 稀疏度下仍优于现有稀疏注意力方法。
重访多模态 KV 缓存压缩：一种频域引导的离群 KV 感知方法
Revisiting Multimodal KV Cache Compression: A Frequency-Domain-Guided Outlier-KV-Aware Approach
对做多模态大模型视觉侧推理的人来说，这篇给出了一个绕开注意力分数、直接对 KV 矩阵做频域主成分建模来识别并保留离群 KV 的压缩思路，且与 FlashAttention 等高效注意力核兼容，可直接用于视觉 token 极长的多图/视频输入场景降低解码延迟与显存。
ApET：面向高效视觉语言模型的近似误差引导词元压缩
ApET: Approximation-Error Guided Token Compression for Efficient VLMs
用线性近似重构误差衡量视觉词元信息量并据此剪枝，摆脱对 [CLS] 注意力或文本-视觉交叉注意力的依赖，从而兼容 FlashAttention，可直接用于任意 VLM 的视觉编码器输出端做免训练或轻量加速。