Tag · 2 篇
离散小波变换
分布 底层视觉与图像复原1高效模型与推理加速1
01 02
LightRR：一种用于单图像去反射的轻量级网络
LightRR: A Lightweight Network for Single Image Reflection Removal
把 DWT 频域分解与 Mamba 状态空间建模结合成非对称频域模块，在低分辨率子带上做长程依赖建模，为轻量化复原网络提供了可复用的频域-序列混合骨干设计；同时用知识蒸馏把大预训练编码器的表征迁移到小模型，是低算力部署场景下值得借鉴的训练范式。
双向模型缩放中知识迁移的统一框架
A Unified Framework for Knowledge Transfer in Bidirectional Model Scaling
把模型权重当作连续信号、用 DWT/IDWT 的分解层级作为缩放因子，可在不重新预训练的情况下把 ViT/DeiT 类视觉骨干在大小之间迁移，为视觉模型扩容或压缩提供免训练的参数初始化手段。