Tag · 16 篇
自监督预训练
面向零样本组合图像检索的自引导语义检查
Self-guided Semantic Inspection for Zero-Shot Composed Image Retrieval
DiffComp 用「短语引导掩码」主动制造图文语义差异，再以差异感知组合模块按差异程度自适应融合特征，这套「先制造差异再组合」的自监督训练范式可直接迁移到任何需要图文联合推理的检索或组合式生成任务中。
从视觉基础模型扩展密集事件流预训练
Scaling Dense Event-Stream Pretraining from Visual Foundation Models
提出结构感知蒸馏损失，利用视觉基础模型（VFM）的语义结构作为监督信号，解决事件流与图像跨模态对齐中的语义坍缩问题，可复用于其他模态（如事件、深度、热成像）与VFM的对齐预训练。
读懂你的动作：通过预训练 AEMG 学习可泛化的动作表征
Reading Your Actions: Learning Generalizable Action Representations via Pre-training AEMG
把生理时序信号（EMG）当作「语言」来做自监督预训练的思路，可迁移到视觉-生理多模态（如可穿戴相机+肌电的手势/动作识别）中：用离散化分词器把连续信号转成结构词、再用掩码/语言建模目标预训练，从而获得跨设备、跨被试的零样本泛化表征。
RNN 即线性 Transformer：对视觉 Mamba 模型表征潜力的深入考察
RNN as Linear Transformer: A Closer Investigation into Representational Potentials of Visual Mamba Models
把 Mamba 解释为 Softmax 注意力的低秩近似，并给出用二值分割指标定量评估激活图长程依赖能力的方法；做视觉骨干网络选型或可解释性分析时，可复用这套理论视角与评估协议。
Progress-Think：面向视觉语言导航的语义进度推理
Progress-Think: Semantic Progress Reasoning for Vision-Language Navigation
把「指令执行到哪一步」显式建模为语义进度状态，并用视觉历史与指令前缀的可微对齐自举出该状态，再注入策略上下文——这套进度表征可直接迁移到任何长程视觉-语言序列决策任务（如视频指令跟随、具身操作），也可作为VLA模型的辅助推理头。
面向3D医学视觉表征学习的掩码扩散自编码器
Masked-Diffusion Autoencoders for 3D Medical Vision Representation Learning
把「空间掩码 + 扩散加噪」两种破坏叠加成统一的时间条件去噪目标，让同一网络同时学结构重建与纹理去噪；做3D医学（或任何低标注3D体数据）自监督预训练时，可直接借用这套双破坏预训练范式替代单一MAE或对比学习。
学习驾驶是免费的礼物：从无位姿野外视频进行大规模无标签自动驾驶预训练
Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos
利用无位姿视频和教师模型生成的伪监督信号，联合预测点图、相机位姿、语义布局和运动掩码，学习统一的伪4D表征，可迁移到自动驾驶规划任务。
从无位姿多视图图像中学习面向空间智能的三维表征
Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images
在无相机位姿的多视图输入下，用双掩码迫使编码器从残缺视觉线索推断结构，并用位姿条件重投影把预测的3D点图与语义图对齐到图像平面，可作为无位姿前馈3D表征预训练的可复用范式，直接服务场景理解与具身感知的下游任务。
Foundry：为边缘设备蒸馏 3D 基础模型
Foundry: Distilling 3D Foundation Models for the Edge
把大型自监督 3D 基础模型蒸馏成紧凑的 SuperTokens 代理模型，学生重建教师 token 级表征，可直接用于点云分类、部件分割等下游任务的轻量化部署，为边缘端 3D 感知提供可复用的压缩范式。
E-RayZer：自监督三维重建作为空间视觉预训练
E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training
将自监督三维重建作为空间视觉预训练任务，直接学习几何感知表征，可替代DINOv3等2D预训练模型用于姿态估计等3D下游任务。
扩散磁共振 Transformer 与扩散空间旋转位置嵌入（D-RoPE）
Diffusion MRI Transformer with a Diffusion Space Rotary Positional Embedding (D-RoPE)
D-RoPE 把扩散梯度方向与强度编码进旋转位置嵌入，使 Transformer 能在任意数量扩散方向上共享权重；做多通道/多视角输入（如多光照、多视角图像）时，可借鉴这种把采集参数写进位置编码以摆脱固定通道数的做法。
面向高效跨模态迁移的解耦可复用适配
Decoupled and Reusable Adaptation for Efficient Cross-Modal Transfer
把跨模态迁移拆成「一次性任务无关的模态知识迁移（自监督 + 结构重建得到可复用 LoRA）」与「轻量任务知识注入（Task-Prompted MoE 融合）」两段，视觉研究者可把 Stage 1 的模态 LoRA 当作可插拔资产，在深度/事件/热成像等非 RGB 输入上复用同一套 RGB 基础模型，避免每个下游任务重训重存。
DLWM：双潜变量世界模型实现自动驾驶中全面的高斯中心预训练
DLWM: Dual Latent World Models enable Holistic Gaussian-centric Pre-training in Autonomous Driving
提出以3D语义高斯为场景表示的双潜变量世界模型预训练框架，可复用于基于高斯表示的感知与规划任务，其高斯流引导的潜变量预测思路对时序特征学习有借鉴意义。
DINO 吞下 CLIP：面向开放集三维物体检索的超越已知类适配
DINO Eats CLIP: Adapting Beyond Knowns for Open-set 3D Object Retrieval
把冻结 DINO 的多视图特征做分块动态聚合（CAM）替代均值池化，并用 CLIP 的图文对齐空间合成未见类虚拟特征（VFS）来正则化适配，这套「冻结基础模型 + 虚拟类特征正则」思路可直接迁移到其他开放集/开放词表的 3D 或多视图识别任务。
CARE：面向全切片图像分析的分子引导自适应区域建模基础模型
CARE: A Molecular-Guided Foundation Model with Adaptive Region Modeling for Whole Slide Image Analysis
把 WSI 从固定 patch 网格改为由分子信号引导的自适应不规则区域建模，并用区域级特征聚合出切片级表示；做病理或大尺寸图像分析时，这种「自适应区域 + 跨模态对齐」的预训练范式可直接迁移到其他超高分辨率图像任务。
无需 3D 扫描的 3D 学习：从视频生成点云进行可扩展预训练
3D sans 3D Scans: Scalable Pre-training from Video-Generated Point Clouds
用前馈重建模型从无标注室内漫游视频生成点云，再以多层级 Sinkhorn-Knopp 聚类加噪声正则损失做自监督预训练，为缺乏 3D 扫描数据时训练点云骨干网络提供了一条可复用的数据与目标函数方案。