视觉词元分析

视觉词元究竟编码了什么？揭示多模态大语言模型中的稀疏性与冗余性

What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

该论文揭示了多模态大语言模型中视觉词元的语义稀疏性（仅约60%的alive词元携带图像信息），并证明中层注入比初始嵌入更有效，为视觉编码器与LLM的高效对接提供了可复用的分析工具（EmbedLens）和设计原则（选择性词元剪枝、最小化视觉计算）。