3D-Vision-Transformer

面向体数据 CT Transformer 的自监督与跨模态预训练规模化

Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers

对做3D医学影像或大体积数据的研究者，可复用其「局部高分辨率Transformer + 全局扫描上下文Transformer」的双层注意力拆分方案，把极端词元规模下的3D注意力变得可计算；同时DINO自蒸馏与SigLIP视觉语言对齐联合预训练的配方，可迁移到其他缺乏标注的体数据域。