Tag · 2 篇
谱分析
分布 视觉语言模型1自监督与表征学习1
01 02
IsoCLIP：分解 CLIP 投影器以实现高效的模态内对齐
IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment
对做视觉检索或复用 CLIP 图像编码器的人，这篇给出了一个免训练的后处理：从 projector 权重里用谱分析取出跨模态对齐的各向同性子空间，丢掉模态特有的各向异性方向，就能直接提升 image-to-image 检索并降低延迟，可作为一个即插即用的特征变换。
FedSDR：带结构噪声检测与重建的联邦图学习
FedSDR: Federated Graph Learning with Structural Noise Detection and Reconstruction
对视觉研究者而言，可复用的是「用谱域结构保真度指标识别被噪声污染的客户端并降权」这一思路，可迁移到多源视觉数据（如跨摄像头、跨传感器）联合训练时对低质量来源的加权聚合，以及用健康全局模型重建局部损坏图结构的做法。