Tag · 7 篇

知识迁移

分布自监督与表征学习2高效模型与推理加速2医学影像与生物视觉1底层视觉与图像复原1生成模型与扩散1

Unlocking Positive Transfer in Incrementally Learning Surgical Instruments: A Self-reflection Hierarchical Prompt Framework

在冻结的预训练骨干上，用层级提示词树组织类别知识，并通过有向加权图传播做自反思式知识精炼，为视觉中的类增量分割提供了一种可复用的正迁移机制，可直接迁移到其他增量分割或增量检测设定。

Sparse Task Vector Mixup with Hypernetworks for Efficient Knowledge Transfer in Whole-Slide Image Prognosis

提出基于任务向量混合与超网络稀疏聚合的模型合并方案，可高效地将多个源域模型的知识迁移到目标域模型，无需联合训练或多模型推理，为医学影像中的跨癌种知识迁移提供了可复用的技术路径。

Rethinking Knowledge Transfer in Image Quality Assessment: A Perceptual Preference Structure Alignment Perspective

对做IQA或任何需要跨数据集迁移的视觉任务，PPR/PPC提供了一种无需训练、可解释的源数据筛选准则：用视觉特征与质量分数的相关性刻画数据集特有的偏好结构，再据此挑选与目标域偏好结构一致的源样本，可直接用于跨域微调前的数据选择。

Learning from Oblivion: Predicting Knowledge-Overflowed Weights via Retrodiction of Forgetting

提出一种通过元学习建模权重演化、逆转结构化遗忘过程来合成知识溢出权重的通用框架，可复用于视觉模型预训练权重的增强与下游任务微调初始化。

FINE: Factorizing Knowledge for Initialization of Variable-sized Diffusion Models

把扩散模型每层权重分解为跨层共享的尺寸无关因子 U、V 与层专属的 Σ，从而在只有小模型预训练权重时直接重组初始化任意尺寸的扩散模型，仅需少量数据重训 Σ；对需要在显存受限场景下部署不同规模扩散模型的视觉研究者提供了可复用的权重分解与初始化思路。

Chain-of-Models Pre-Training: Rethinking Training Acceleration of Vision Foundation Models

CoM-PT 提出在模型家族层面按规模递增顺序进行链式预训练，仅最小模型独立训练，其余模型通过参数空间与特征空间的逆向知识迁移从更小模型高效获得性能，为视觉基础模型的大规模预训练提供了一种可复用的加速范式。

A Unified Framework for Knowledge Transfer in Bidirectional Model Scaling

把模型权重当作连续信号、用 DWT/IDWT 的分解层级作为缩放因子，可在不重新预训练的情况下把 ViT/DeiT 类视觉骨干在大小之间迁移，为视觉模型扩容或压缩提供免训练的参数初始化手段。