稀疏上采样

通过聚类感知上采样增强混合专家模型的特化能力

Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling

对需要在视觉-语言预训练中把稠密 CLIP 骨干升级为 MoE 的研究者，本文给出一种可复用的初始化方案：用输入激活的语义聚类 + 截断 SVD 初始化各专家、用聚类质心初始化路由器，并配合专家集成自蒸馏稳定路由，可直接替换稀疏上采样以提升零样本/少样本迁移。