注意力感知量化

面向大型视觉语言模型的注意力感知推理优化与显存高效解码

Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding

针对多图/视频长上下文 VLM 解码时 KV 缓存显存爆炸的问题，用隐式低秩结构压缩多头注意力的 K/V 矩阵，并配合 token 级注意力感知解压降低延迟；做视觉长上下文推理加速的工作可直接复用该 KV 压缩与解压调度思路，且能与 eviction、量化、kernel fusion 叠加。