多模态序列建模

MODIX：面向视觉语言模型的免训练多模态信息驱动位置索引缩放

MODIX: A Training-Free Multimodal Information-Driven Positional Index Scaling for Vision-Language Models

对做 VLM 推理与注意力分析的人，这篇给出了一个免训练、不改参数的位置索引重标定手段：用协方差熵衡量模态内信息密度、用跨模态对齐衡量模态间交互，据此缩放位置步长，可直接插到现有 VLM 的注意力计算前，用来缓解冗余视觉 token 抢占注意力的问题。