Tag · 3 篇
视觉预训练
分布 自监督与表征学习2视觉语言模型1
01 02 03
追寻面向视觉预训练的像素监督
In Pursuit of Pixel Supervision for Visual Pre-training
把数据策展（self-curation）当作与 MAE 预训练目标同等重要的一环：在 2B 网络图像上筛选空间结构信号更强的样本，可显著提升单目深度估计、前馈 3D 重建、分割等密集预测任务的表征质量，为视觉基础模型的预训练数据配方提供可复用思路。
探索面向语言智能学习的视觉预训练
Exploring Visual Pretraining for Learning Language Intelligence
把文档图像当作语言模型的预训练语料，用掩码自回归目标让 LLM 从可见区域推断被遮挡区域的潜变量假设，为视觉研究者提供了一个可复用的思路：用视觉输入替代或补充文本语料来提升语言推理能力，并可用潜空间对齐分析跨模态表征。
E-RayZer：自监督三维重建作为空间视觉预训练
E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training
将自监督三维重建作为空间视觉预训练任务，直接学习几何感知表征，可替代DINOv3等2D预训练模型用于姿态估计等3D下游任务。