Tag · 2 篇
视觉基础模型适配
分布 图像分割13D 视觉与重建1
01 02
V^2-SAM:将 SAM2 与多提示词专家结合用于跨视角目标对应
V^2-SAM: Marrying SAM2 with Multi-Prompt Experts for Cross-View Object Correspondence
把 SAM2 从单视角分割迁移到跨视角对应,关键手段是两类提示生成器:基于 DINOv3 特征的坐标式锚框提示(首次让 SAM2 支持跨视角坐标提示)与特征/结构双重对齐的视觉提示匹配器,并用循环一致性做专家选择,可直接复用到 ego-exo 分割、跨视角跟踪等需要把基础分割模型扩展到多视角设定的场景。
DINO 吞下 CLIP:面向开放集三维物体检索的超越已知类适配
DINO Eats CLIP: Adapting Beyond Knowns for Open-set 3D Object Retrieval
把冻结 DINO 的多视图特征做分块动态聚合(CAM)替代均值池化,并用 CLIP 的图文对齐空间合成未见类虚拟特征(VFS)来正则化适配,这套「冻结基础模型 + 虚拟类特征正则」思路可直接迁移到其他开放集/开放词表的 3D 或多视图识别任务。