Tag · 2 篇
自监督蒸馏
分布 医学影像与生物视觉1自监督与表征学习1
01 02
面向体数据 CT Transformer 的自监督与跨模态预训练规模化
Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers
对做3D医学影像或大体积数据的研究者，可复用其「局部高分辨率Transformer + 全局扫描上下文Transformer」的双层注意力拆分方案，把极端词元规模下的3D注意力变得可计算；同时DINO自蒸馏与SigLIP视觉语言对齐联合预训练的配方，可迁移到其他缺乏标注的体数据域。
ORSATR-X：面向光学遥感目标识别、基于差分与激励网络的基础模型
ORSATR-X: A Foundation Model based on Differential-and-Excitation Networks for Optical Remote Sensing Object Recognition
把 DINOv3 的通用表征与一个旁路网络结合，用 Weber 局部适配器（中心-周边对比 + 方向梯度）增强低对比度目标的边界判别力，并用自监督蒸馏预训练旁路网络——这套「冻结基础模型 + 轻量旁路增强」的范式可直接迁移到其他低对比度、强背景干扰的视觉检测/分割任务。