侧网络

基于掩码双路径蒸馏的渐隐侧网络内存高效迁移学习

Memory-Efficient Transfer Learning with Fading Side Networks via Masked Dual Path Distillation

对做视觉大模型适配的人，这篇给出了一个可直接复用的思路：微调时让冻结主干与可学习侧网络互相蒸馏，推理时直接丢掉侧网络，从而在不增加推理开销的前提下获得侧网络的适配收益；其面向多层编码器的特征蒸馏设计也可迁移到 ViT 类主干的 PEFT 方案中。