3D 视觉与重建 · CVPR2026 ·2026.06.03

Ov3R:从 RGB 视频进行开放词表语义三维重建

Ov3R: Open-Vocabulary Semantic 3D Reconstruction from RGB Videos

Ziren Gong、Xiaohan Li、Fabio Tosi、Jiawei Han、Stefano Mattoccia、Jianfei Cai 等 7 人

与你有关的部分

把 CLIP 语义直接注入三维重建主干(CLIP3R 预测带物体级语义的稠密点图),再用 2D-3D 融合描述子把二维开放词表特征提升到三维,为开放词表三维分割与全局一致重建提供了一条可复用的「重建即语义」路线。

原文依据 incorporates CLIP semantics directly into the reconstruction process, enabling globally consistent geometry and fine-grained semantic alignment
可迁移到 开放词表三维分割稠密三维重建点图预测开放词表二维分割

摘要译文

由模型翻译 · 术语统一 · 请对照原文核对关键结论

本文提出 Ov3R,一个从 RGB 视频流进行开放词表语义三维重建的新框架,旨在推进空间智能。该系统包含两个关键组件:CLIP3R,一个受 CLIP 引导的三维重建模块,从相互重叠的视频片段中预测稠密点图并同时给出物体级语义;以及 2D-3D OVS,一个二维-三维开放词表语义模块,通过学习融合空间、几何与语义线索的融合描述子,将二维特征提升到三维。与先验方法不同,Ov3R 将 CLIP 语义直接纳入重建过程,从而实现全局一致的几何与细粒度的语义对齐。本框架在稠密三维重建与开放词表三维分割两方面均取得最优性能。

英文原文摘要 774 字符

We present Ov3R, a novel framework for open-vocabulary semantic 3D reconstruction from RGB video streams, designed to advance Spatial AI. The system features two key components: CLIP3R, a CLIP-informed 3D reconstruction module that predicts dense point maps from overlapping clips alongside object-level semantics; and 2D-3D OVS, a 2D-3D open-vocabulary semantic module that lifts 2D features into 3D by learning fused descriptors integrating spatial, geometric, and semantic cues. Unlike prior methods, Ov3R incorporates CLIP semantics directly into the reconstruction process, enabling globally consistent geometry and fine-grained semantic alignment. Our framework achieves state-of-the-art performance in both dense 3D reconstruction and open-vocabulary 3D segmentation.

标签

会议 CVPR2026
页码 34206-34216
Bibkey
来源 CVF Open Access