混合专家模型

MoDES：通过动态专家跳过加速混合专家多模态大语言模型

MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping

MoDES 提供了一种免训练的专家跳过框架，可直接用于加速基于 MoE 的多模态大语言模型（如 Qwen3-VL-MoE）的视觉语言推理，通过全局调制局部门控和双模态阈值化，在跳过 88% 专家时仍保持甚至提升精度，并显著减少预填充和解码时间，为视觉研究者部署高效 MLLM 提供了可复用的技术手段。