稀疏混合专家

教师引导路由的稀疏视觉混合专家

Teacher-Guided Routing for Sparse Vision Mixture-of-Experts

提出用预训练稠密教师模型的中间表示构建教师路由器，为学生路由器的专家选择提供伪监督，从而稳定稀疏MoE训练中的路由波动；这一思路可直接迁移到视觉MoE模型（如V-MoE）的训练中，提升高稀疏配置下的路由一致性与精度。