Tag · 2 篇
神经元稀疏化
01 02
深度网络中的神经分化：表达性与表征多样性的理论框架
Neural Differentiation in Deep Networks: A Theoretical Framework for Expressivity and Representational Diversity
提出神经元级可微性指标 NDI 与训练时结构化剪枝方法 NDP，为视觉模型压缩提供可证明的误差上界与自适应稀疏化流程，可直接用于 CNN/ViT 等骨干网络的轻量化。
DuetMerging：协同动态与静态策略以缓解模型合并中的任务干扰
DuetMerging: Synergizing Dynamic and Static Strategies for Mitigating Task Interference in Model Merging
对需要把多个视觉专家模型（如不同域/任务的检测、分割模型）合并成单一多任务网络的研究者，提供了一套可复用的合并流程：先用 Tucker 分解在共享核心张量上构建统一专家池，再用任务特定神经元激活模式生成掩码保留残差关键信息，可直接替换 TIES/DARE 等任务向量合并步骤。