预填充加速

SegMo：面向高效 VLM 推理的内容感知稀疏化与局部凝聚分段并行协同设计

SegMo: Co-Designing Content-Aware Sparsity and Locally-Cohesive Segment Parallelism for Efficient VLM Inference

对做视频多模态推理的人，这篇给出了一个可直接复用的思路：利用 VideoLLM 注意力在场景内的局部凝聚性，先按查询相关性做场景级筛选、再按时序冗余做场景内剪枝，得到非均匀计算负载，并在场景边界切分做分段并行，用轻量全局上下文注入替代全局注意力的通信开销。