Tag · 7 篇
微调
UniSER：统一软效应去除的基础模型
UniSER: A Foundation Model for Unified Soft Effects Removal
把镜头光晕、雾、阴影、反射统一建模为「半透明遮挡」并用 Diffusion Transformer 做微调复原，配合细粒度掩码与强度控制，为低层复原提供了一条「一个模型处理多类软效应」的可复用范式与 3.8M 配对数据构建思路。
UniRefiner：通过对比寄存器教预训练ViT自行处置伪影
UniRefiner: Teaching Pre-trained ViTs to Self-Dispose Dross via Contrastive Register
提出用对比寄存器（contrastive registers）在少量微调下净化预训练ViT中的伪影词元，可直接用于提升任何ViT在分割、深度估计等密集预测任务上的空间表征质量。
理解并强制任务算术中的权重解耦
Understanding and Enforcing Weight Disentanglement in Task Arithmetic
对做视觉模型微调与多任务合并的人，OrthoReg 提供了一个可直接插入微调过程的权重更新正交正则项，用来缓解任务向量相加时的相互干扰，可用于多任务模型合并、个性化编辑与持续微调场景。
理解视觉语言模型中的任务迁移
Understanding Task Transfer in Vision-Language Models
给做 VLM 感知微调的人一个可复用的诊断工具：用 PGF 归一化指标量化源任务微调对 13 个感知任务零样本性能的迁移广度与幅度，并据此做数据选择，避免负迁移。
面向扩散模型的奖励锐度感知微调
Reward Sharpness-Aware Fine-Tuning for Diffusion Models
针对扩散模型 RLHF 微调中的奖励攻击问题，提出用参数扰动与样本扰动构造平坦化奖励模型的梯度，无需重训奖励模型即可提升生成质量与奖励对齐的可靠性，可直接嵌入现有扩散强化学习流程。
从遗忘中学习：通过遗忘回溯预测知识溢出权重
Learning from Oblivion: Predicting Knowledge-Overflowed Weights via Retrodiction of Forgetting
提出一种通过元学习建模权重演化、逆转结构化遗忘过程来合成知识溢出权重的通用框架，可复用于视觉模型预训练权重的增强与下游任务微调初始化。
2ndMatch：通过二阶雅可比匹配微调剪枝后的扩散模型
2ndMatch: Finetuning Pruned Diffusion Models via Second-Order Jacobian Matching
把稠密教师模型对扰动的敏感度（J^⊤J）作为迁移信号来微调剪枝后的扩散模型，是一种与架构无关的通用微调手段，可直接套用到 U-Net 或 Transformer 扩散模型的压缩流程中，也可迁移到其他需要从教师模型迁移二阶信息的蒸馏场景。