Tag · 3 篇
跨模态学习
分布 3D 视觉与重建1医学影像与生物视觉1强化学习与具身智能1
01 02 03
基于照片引导的3D口腔扫描模型牙齿分割
Photo-Guided Tooth Segmentation on 3D Oral Scan Model
将口内照片的纹理语义作为补充信息,通过相机对齐和特征过滤门控融合到3D扫描模型的分割中,为多模态3D分割提供了可复用的配准与特征选择思路。
面向计算病理学知识蒸馏的动量记忆
Momentum Memory for Knowledge Distillation in Computational Pathology
用动量更新的跨批次记忆库替代批次内对齐,把基因组监督蒸馏进纯组织学推理模型,并解耦双分支梯度;这套「记忆库扩大监督上下文 + 梯度解耦」的做法可直接迁移到其他缺失模态的多模态蒸馏场景(如影像-文本、影像-临床指标)。
MM-ACT:从多模态并行生成中学习动作
MM-ACT: Learn from Multimodal Parallel Generation to Act
把文本、图像、动作放进共享词元空间并用 re-mask 并行解码统一生成,为视觉研究者提供了一个可复用的 VLA 架构范式:动作生成可借用扩散/掩码生成的并行解码思路,且跨模态监督能反哺动作预测精度。