Tag · 4 篇
动态计算分配
按需视觉：以稀疏、动态选择的视觉-语言交互提升 VLLM 效率
VISion On Request: Enhanced VLLM efficiency with sparse, dynamically selected, vision-language interactions
对做多模态视觉研究的人，这篇论文给出了一条不丢弃视觉词元、而是稀疏化图文交互的加速路径：用少量交叉注意力层提供全局视觉上下文，再用动态选择的自注意力层按样本复杂度精炼高分辨率视觉表示，可直接迁移到任何 LVLM 的推理加速与高分辨率细粒度理解场景。
IAFMNet：面向高效超分辨率的信息感知特征调制
IAFMNet: Information-Aware Feature Modulation for Efficient Super-Resolution
用无监督估计的信息密度图引导稀疏卷积与仿射调制，把计算动态集中到纹理/边缘区域，为高效超分及其他密集预测任务提供可复用的「按信息量分配算力」范式。
ElasticFormer：通过弹性计算视觉 Transformer 检测高分辨率宽幅图像中的目标
ElasticFormer: Detecting Objects in HRW Shots via Elastic Computing Vision Transformer
ElasticFormer 的 ElasticSelector 用方差打分加前景比例预测来动态选择窗口，这种按前景稀疏度弹性分配算力的思路可以直接迁移到任何高分辨率或大视场图像检测的骨干网络设计中，也提供了在缺少边界框标注时训练选择器的三阶段策略。
Blink：面向增强多模态理解的动态视觉词元分辨率
Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding
提出基于注意力图的逐层显著性估计与 TokenSR 超分扩展机制，可在单次前向中动态为显著视觉词元分配更多计算，是一种可插拔的视觉词元分辨率调度思路，可迁移到其他 MLLM 的视觉编码与推理加速场景。