Tag · 2 篇
稀疏激活
01 02
OneSparse：视觉模型中稀疏激活层的统一框架
OneSparse: A Unified Framework for Sparse Activation Layers in Vision Models
提出统一的稀疏激活层抽象（OneSparse）和Nexus层，将MoE与记忆模块结合，为视觉模型提供可插拔的高效模块，可直接用于替换CNN/Transformer中的FFN或卷积层以提升性能-效率前沿。
ERMoE：用于稳定路由与可解释专家特化的特征基重参数化混合专家模型
ERMoE: Eigen-Reparameterized Mixture-of-Experts for Stable Routing and Interpretable Specialization
用专家表示空间的正交特征基余弦相似度替代可学习门控 logits 做路由，可作为一种免辅助负载均衡损失的 MoE 路由方案，直接迁移到视觉 Transformer 的稀疏扩容与多模态检索骨干中。