注意力头重要性

HAWK：多模态模型中头重要性感知的视觉词元剪枝

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

对做多模态视觉理解的人，这篇给出了一个免训练、即插即用的视觉词元剪枝方案：用注意力头重要性权重加权文本引导的注意力来打分并保留任务相关词元，可直接套到任意 MLLM 的视觉编码器到 LLM 的投影环节上，在剪掉 80% 视觉词元时仍保住 96% 精度。