自监督与表征学习 / CVPR2026
SigLino:面向凝聚式视觉基础模型的高效多教师蒸馏
SigLino: Efficient Multi-Teacher Distillation for Agglomerative Vision Foundation Models
把 SigLIP2 与 DINOv3 两个教师的知识蒸馏进 Dense/MoE 学生,并给出非对称关系知识蒸馏损失、词元均衡批处理与层次聚类数据采样三条可复用配方,可直接用于构建早期融合 Grounding-VLM 的视觉主干。
多教师蒸馏混合专家视觉基础模型