Tag · 3 篇
傅里叶变换
分布 高效模型与推理加速1视觉语言模型1底层视觉与图像复原1
01 02 03
S2FT:稀疏频谱域中的参数高效微调
S2FT: Parameter-Efficient Fine-Tuning in Sparse Spectrum Domain
为视觉大模型(ViT、扩散骨干等)的下游适配提供了一种仅需约0.08%可训练参数的PEFT方案:先用粗估的权重变化作为先验,再通过行列重排把权重变化映射到频谱稀疏的潜空间,然后只微调少量谱系数;做迁移学习或低资源微调时,可以直接替换LoRA/傅里叶PEFT的适配模块。
重新审视跨模态锚框对齐以缓解误差累积
Rethinking Cross-Modal Anchor Alignment for Mitigating Error Accumulation
针对跨模态匹配中干净锚框对也会累积误差的问题,用傅里叶变换压制非关键细粒度扰动、以角度一致性重估软标签,可直接迁移到图文检索与跨模态对齐训练中抑制噪声累积。
FlowFM:以流匹配推进暗光光流估计
FlowFM: Advancing Dark Optical Flow Estimation with Flow Matching
把流匹配从生成任务迁移到条件回归任务(暗光光流),用真值约束的全局变换路径加单步去噪替代扩散式迭代采样,并用傅里叶幅度/相位解码器恢复暗光下丢失的运动信息,可作为低光照稠密预测任务的通用加速范式。