多模态推理加速

面向视觉语言模型的混合词元压缩

Hybrid Token Compression for Vision-Language Models

提出双通道（连续 ViT 图像块 + 离散 MGVQ 语义锚点）视觉词元压缩方案，用解耦注意力掩码与 <voco> 瓶颈把 580 个视觉词元压成 1 个，可直接用于降低任意 VLM 的视觉上下文长度与显存开销。