Tag · 1 篇
When Token Pruning is Worse than Random: Understanding Visual Token Information in VLLMs
为视觉语言模型中的视觉词元剪枝提供了理论依据:深层视觉词元信息消失,随机剪枝即可,且可增强现有方法(如DivPrune),在OCR等视觉密集任务中需保留更深层词元。