多模态大模型训练

DUET-VLM：面向视觉语言模型训练与推理的双阶段统一高效词元缩减

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

提供一种即插即用的双阶段视觉词元压缩方案：先在视觉编码器输出端做冗余感知合并，再在语言骨干网络内按层用文本显著性引导丢弃视觉词元，可直接嵌入 LLaVA/Video-LLaVA 类 VLM 的端到端训练与推理以大幅降低视觉词元数而几乎不掉点。