Tag · 1 篇
OneSparse: A Unified Framework for Sparse Activation Layers in Vision Models
提出统一的稀疏激活层抽象（OneSparse）和Nexus层，将MoE与记忆模块结合，为视觉模型提供可插拔的高效模块，可直接用于替换CNN/Transformer中的FFN或卷积层以提升性能-效率前沿。