Tag · 3 篇
多教师蒸馏
分布 自监督与表征学习1医学影像与生物视觉13D 视觉与重建1
01 02 03
SigLino：面向凝聚式视觉基础模型的高效多教师蒸馏
SigLino: Efficient Multi-Teacher Distillation for Agglomerative Vision Foundation Models
把 SigLIP2 与 DINOv3 两个教师的知识蒸馏进 Dense/MoE 学生，并给出非对称关系知识蒸馏损失、词元均衡批处理与层次聚类数据采样三条可复用配方，可直接用于构建早期融合 Grounding-VLM 的视觉主干。
PDD：面向医学异常检测的流形先验多样性蒸馏
PDD: Manifold-Prior Diverse Distillation for Medical Anomaly Detection
把双教师（VMamba 全局上下文 + wide-ResNet50 局部结构）先验统一到共享高维流形再蒸馏给双学生，并用多样性损失防表征坍缩；这套「流形匹配统一 + 双学生互补蒸馏」可直接迁移到工业/医学以外的无监督异常检测与多源特征融合场景。
Chorus：面向整体 3D 高斯场景编码的多教师预训练
Chorus: Multi-Teacher Pretraining for Holistic 3D Gaussian Scene Encoding
把 2D 基础模型（语言对齐、通用、物体感知教师）的互补信号蒸馏进一个共享的前馈 3DGS 场景编码器，得到可直接用于开放词表分割、线性探测和 LLM 问答的通用 3D 高斯特征；其 render-and-distill 适配与仅用高斯中心/颜色/法向的变体，为点云等非 3DGS 表示提供了可复用的预训练迁移路径。