高效模型与推理加速 / CVPR2026
ERMoE:用于稳定路由与可解释专家特化的特征基重参数化混合专家模型
ERMoE: Eigen-Reparameterized Mixture-of-Experts for Stable Routing and Interpretable Specialization
用专家表示空间的正交特征基余弦相似度替代可学习门控 logits 做路由,可作为一种免辅助负载均衡损失的 MoE 路由方案,直接迁移到视觉 Transformer 的稀疏扩容与多模态检索骨干中。
混合专家稀疏激活负载均衡