注意力引导信息融合

Hi-Lo Prune：在剪枝之前先看清将失去什么的分层词元选择方法

Hi-Lo Prune: Look at What You'll Lose before Pruning with Hierarchical Token Selection

对做多模态大模型视觉侧推理加速的人，这篇给出了一个可直接复用的三段式流程：先用由粗到细的分层选择挑出冗余词元与待剪候选，再在 LLM 前几层用注意力把候选词元的信息显式迁移到保留词元上，最后在指定层一次性移除，从而支持激进的高比例早期剪枝而无需微调。