Tag · 3 篇
多模态基础模型
01 02 03
以多模态基础模型扩展空间智能
Scaling Spatial Intelligence with Multimodal Foundation Models
该工作系统构建了800万空间能力数据并微调多模态基础模型，为视觉研究者提供了可复用的空间智能训练数据构建范式与评测基准，同时揭示了数据缩放对空间推理泛化能力的影响。
OpenVision 2：面向多模态学习的一族生成式预训练视觉编码器
OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning
去掉文本编码器和对比损失、仅用captioning loss训练视觉编码器，可作为一种更省显存和时间的视觉表征预训练方案，直接用于多模态大模型的视觉塔初始化。
CLEP：对比语言-姿态预训练
CLEP: Contrastive Language-Pose Pretraining
提出层次化姿态编码器与跨尺度注意力融合机制，将关节、肢体、身体多层级特征动态整合，可用于任何需要细粒度人体姿态-语言对齐的视觉-语言任务，如文本驱动的姿态生成与编辑。