免训练后处理

抑制掩码图像建模表征中的非语义噪声

Suppressing Non-Semantic Noise in Masked Image Modeling Representations

对做 MIM 预训练的人，这篇给出了一个免训练、可插拔的线性头，把图像块表征里与语义无关的分量投影掉，从而直接提升下游零样本性能；其基于 PCA 的语义不变性打分也可作为评估表征语义纯度的通用诊断工具。