专家并行

MoE-VLM 中软模态引导的专家特化

Soft Modality-Guided Expert Specialization in MoE-VLMs

对做多模态大模型的人来说，这篇给出了一个可复用的路由改造思路：用随层变化的软模态分数（注意力或高斯统计得到）驱动专家分配，并加互信息正则化让专家按模态分工，同时按专家并行部署做分箱以降低通信；可直接迁移到任意 MoE-VLM 的专家路由设计中。