Tag · 2 篇
主成分分析
分布 自监督与表征学习1高效模型与推理加速1
01 02
抑制掩码图像建模表征中的非语义噪声
Suppressing Non-Semantic Noise in Masked Image Modeling Representations
对做 MIM 预训练的人，这篇给出了一个免训练、可插拔的线性头，把图像块表征里与语义无关的分量投影掉，从而直接提升下游零样本性能；其基于 PCA 的语义不变性打分也可作为评估表征语义纯度的通用诊断工具。
本质子空间中的模型合并
Model Merging in the Essential Subspace
对需要把多个任务微调模型（如多个下游视觉任务的 LoRA/全参微调权重）零训练合成一个多任务模型的场景，提供基于 PCA 特征偏移子空间投影 + 低秩分解 + 极化缩放的可复用合并流程，可直接用于视觉基础模型的多任务部署。