Tag · 4 篇
线性探测
分布 医学影像与生物视觉1自监督与表征学习1视觉语言模型13D 视觉与重建1
01 02 03 04
X-WIN：通过预测性感知构建胸部X射线世界模型
X-WIN: Building Chest Radiograph World Model via Predictive Sensing
X-WIN 通过从 CT 体数据蒸馏三维解剖知识来构建 CXR 世界模型，其潜空间投影预测与亲和力引导对比对齐损失可迁移到其他需要从 2D 投影恢复 3D 结构的视觉任务，如 X 光片的三维重建与跨模态表征学习。
残差连接损害生成式表征学习
Residual Connections Harm Generative Representation Learning
对 MAE、扩散模型等生成式表征学习框架，把残差恒等捷径的权重随深度单调衰减，可显著提升线性探测精度与生成质量；做自监督预训练或扩散骨干网络时，这是一个几乎零成本、可直接替换的架构改动。
ProM3E：面向生态学的概率掩码多模态嵌入模型
ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology
在嵌入空间做掩码模态重建、支持任意模态到任意模态的生成与模态反转，这种「学什么该融合」的概率式融合思路可直接迁移到视觉-文本-音频等多模态检索与缺失模态补全任务。
Chorus：面向整体 3D 高斯场景编码的多教师预训练
Chorus: Multi-Teacher Pretraining for Holistic 3D Gaussian Scene Encoding
把 2D 基础模型（语言对齐、通用、物体感知教师）的互补信号蒸馏进一个共享的前馈 3DGS 场景编码器，得到可直接用于开放词表分割、线性探测和 LLM 问答的通用 3D 高斯特征；其 render-and-distill 适配与仅用高斯中心/颜色/法向的变体，为点云等非 3DGS 表示提供了可复用的预训练迁移路径。