3D 视觉与重建 · CVPR2026 ·2026.06.03

无需标定、无需深度、不成问题:具有三维一致性的跨传感器视图合成

No Calibration, No Depth, No Problem: Cross-Sensor View Synthesis with 3D Consistency

Cho-Ying Wu、Zixun Huang、Xinyu Huang、Liu Ren

与你有关的部分

把 RGB-X 跨传感器对齐从「标定工程」转化为「匹配-稠密化-3DGS 整合」的视图合成流程,视觉研究者可直接复用其置信度感知稠密化与自匹配过滤来绕开标定,构建大规模 RGB-X 配对数据。

原文依据 We propose a match-densify-consolidate method.
可迁移到 跨传感器新视角合成RGB-X 图像匹配3D 高斯泼溅重建

摘要译文

由模型翻译 · 术语统一 · 请对照原文核对关键结论

我们首次研究了跨不同模态的跨传感器视图合成。我们考察了一个实际、基础却长期被忽视的问题:获取对齐的 RGB-X 数据。大多数 RGB-X 先前工作假设此类配对已经存在,并聚焦于模态融合,但在实践中这需要巨大的标定工程投入。我们提出一种匹配—稠密化—整合的方法。首先,我们执行 RGB-X 图像匹配,随后进行引导式点稠密化。借助所提出的置信度感知稠密化与自匹配过滤,我们获得了更好的视图合成结果,并在随后将其整合到三维高斯泼溅(3DGS)中。我们的方法对 X 传感器不使用任何三维先验,仅假设对 RGB 使用近乎零成本的 COLMAP。我们旨在消除各类 RGB-X 传感器繁琐的标定,并通过一种可扩展的方案突破大规模真实世界 RGB-X 数据采集中的瓶颈,从而推动跨传感器学习的普及。

英文原文摘要 951 字符

We present the first study of cross-sensor view synthesis across different modalities. We examine a practical, fundamental, yet widely overlooked problem: getting aligned RGB-X data, where most RGB-X prior work assumes such pairs exist and focuses on modality fusion, but it empirically requires huge engineering effort in calibration. We propose a match-densify-consolidate method. First, we perform RGB-X image matching followed by guided point densification. Using the proposed confidence-aware densification and self-matching filtering, we attain better view synthesis and later consolidate them in 3D Gaussian Splatting (3DGS). Our method uses no 3D priors for X-sensor and only assumes nearly no-cost COLMAP for RGB. We aim to remove the cumbersome calibration for various RGB-X sensors and advance the popularity of cross-sensor learning by a scalable solution that breaks through the bottleneck in large-scale real-world RGB-X data collection.

标签

会议 CVPR2026
页码 21836-21848
Bibkey
来源 CVF Open Access