高效模型与推理加速 / CVPR2026
S2FT:稀疏频谱域中的参数高效微调
S2FT: Parameter-Efficient Fine-Tuning in Sparse Spectrum Domain
为视觉大模型(ViT、扩散骨干等)的下游适配提供了一种仅需约0.08%可训练参数的PEFT方案:先用粗估的权重变化作为先验,再通过行列重排把权重变化映射到频谱稀疏的潜空间,然后只微调少量谱系数;做迁移学习或低资源微调时,可以直接替换LoRA/傅里叶PEFT的适配模块。
参数高效微调傅里叶变换频谱稀疏性