跨模态相似度

OmniZip：面向快速全模态大模型的语言模型音频引导动态词元压缩

OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models

对做视频多模态理解的人，这套「用音频显著性动态决定视频词元保留率」的免训练压缩流程可以直接插到任意 OmniLLM 的视觉编码器之后，作为长视频词元预算分配的可复用策略；其按时间组计算信息密度再交错时空剪枝的做法，也可迁移到纯视觉视频 LLM 的帧级词元裁剪。