Tag · 4 篇
预训练
分布 自监督与表征学习23D 视觉与重建1高效模型与推理加速1
01 02 03 04
以2D语义知识解锁3D功能可供性分割
Unlocking 3D Affordance Segmentation with 2D Semantic Knowledge
利用2D视觉基础模型的语义知识，通过跨模态亲和力迁移预训练3D编码器，为点云功能可供性分割提供结构化特征学习方案。
NESTOR：面向大规模偏微分方程预训练的嵌套混合专家神经算子
NESTOR: A Nested MOE-based Neural Operator for Large-Scale PDE Pre-Training
嵌套 MoE 神经算子（图像级 MoE 捕捉全局依赖 + token 级 Sub-MoE 捕捉局部依赖）为视觉中的算子学习与大规模预训练提供了可复用的稀疏专家路由结构，可迁移到神经场、物理仿真等连续场建模任务。
模型链预训练：重新思考视觉基础模型的训练加速
Chain-of-Models Pre-Training: Rethinking Training Acceleration of Vision Foundation Models
CoM-PT 提出在模型家族层面按规模递增顺序进行链式预训练，仅最小模型独立训练，其余模型通过参数空间与特征空间的逆向知识迁移从更小模型高效获得性能，为视觉基础模型的大规模预训练提供了一种可复用的加速范式。
引导动态感知的 3D 视觉表征用于可扩展机器人学习
Bootstrap Dynamic-Aware 3D Visual Representation for Scalable Robot Learning
把状态预测建模为扩散生成过程、在共享潜空间联合学习前向与逆向动力学，为视觉表征注入可操作的因果转移结构；特征差分与逆一致性监督可防止动作学习中的特征泄漏，这一思路可直接迁移到任何需要动作条件表征的视觉预训练中。