Tag · 18 篇
多视图几何
以 3D 思考:基于有限视角的几何想象驱动空间推理
Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views
把 VLM 推理过程中的隐状态与 VGGT 等 3D 基础模型输出的几何潜变量对齐,使模型在无 3D 先验输入时也能进行「脑内 3D 想象」,为视觉研究者提供了一条把 3D 几何表征注入多模态推理的可复用路径。
仿射相机模型下视图图的可解性
Solvability of the Viewing Graph Under the Affine Camera Model
为 SfM 提供一种在仿射相机模型下判定视图图是否可解(相机是否被唯一确定)的线性系统方法,可用于在增量式/全局式 SfM 中预先筛除不可解或退化配置,并指导视图图构建与边选择。
QuadSync:基于 Tucker 分解的四焦点张量同步
QuadSync: Quadrifocal Tensor Synchronization via Tucker Decomposition
把四焦点张量当作可同步的高阶约束,用固定多线性秩 (4,4,4,4) 的 Tucker 分解从 n 个四焦点张量一次性恢复全部相机矩阵,为全局式 SfM 提供比本质矩阵更强的初始化与优化信号;其块张量与三焦点/双焦点张量的联合同步思路可直接替换现有增量式或成对同步流程中的相机位姿求解环节。
PoseGAM:基于几何感知多视图推理的鲁棒未见物体位姿估计
PoseGAM: Robust Unseen Object Pose Estimation via Geometry-Aware Multi-View Reasoning
把多视图基础模型当作位姿回归器,用点云几何与几何表征网络特征两路注入物体几何先验,绕开显式 2D-3D 对应匹配,可直接迁移到无模板、无 CAD 模型的未见物体位姿估计与抓取场景。
PE3R:感知高效的三维重建
PE3R: Perception-Efficient 3D Reconstruction
把 2D 语义先验与多视图几何融合进一个免调优的前馈管线,可直接用于从无位姿图像做开放词表三维语义重建,替代逐场景优化,并可作为三维场景理解中语义与几何联合评测的基线。
MuM:面向三维视觉的多视图掩码图像建模
MuM: Multi-View Masked Image Modeling for 3D Vision
把 MAE 从双视图 CroCo 扩展到任意多视图、统一掩码加帧间注意力轻量解码器,为需要几何推理的视觉任务(前馈重建、稠密匹配、相对位姿)提供了一个可直接替换 DINOv3/CroCo 的预训练编码器方案。
多视图自标定的最小约束松弛
Minimal Constraint Relaxation for Multiview Autocalibration
为多视图自标定中的过约束多项式系统提供了一套可复用的约束松弛枚举与分类流程,结合符号计算与数值同伦延拓筛选出良态、有限解的约束子集,可直接用于改进三视图自标定的数值稳定性。
MVGGT:用于多视图 3D 指代表达分割的多模态视觉几何接地 Transformer
MVGGT: Multimodal Visual Geometry Grounded Transformer for Multiview 3D Referring Expression Segmentation
MVGGT 展示了如何用双分支 Transformer 从稀疏多视图 RGB 直接进行 3D 指代分割,避免了两阶段重建-分割的延迟与几何退化;其提出的前景梯度稀释问题与 PVSO 优化策略对稀疏视图下的 3D 密集预测训练有直接借鉴意义。
基于 7 点或 5 点的线性基础矩阵估计
Linear Fundamental Matrix Estimation from 7 or 5 Points
提供首个针对 5 点共线特殊构型的线性最小解算器,可直接嵌入 RANSAC 或早期非最小拟合流程,替代 7 点/8 点非线性求解,降低两视图几何估计的延迟并提升数值稳定性。
从无位姿多视图图像中学习面向空间智能的三维表征
Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images
在无相机位姿的多视图输入下,用双掩码迫使编码器从残缺视觉线索推断结构,并用位姿条件重投影把预测的3D点图与语义图对齐到图像平面,可作为无位姿前馈3D表征预训练的可复用范式,直接服务场景理解与具身感知的下游任务。
KV-Tracker:基于 Transformer 的实时位姿跟踪
KV-Tracker: Real-Time Pose Tracking with Transformers
把多视图几何网络(π³)全局自注意力层的 KV 对缓存下来当作唯一的场景表示,从而免去逐帧重跑网络,实现实时 6-DoF 跟踪与在线重建;这种模型无关的 KV 缓存思路可直接迁移到其他多视图/前馈重建网络做在线化加速。
HOLO:面向SD地图细粒度视觉定位的单应性引导位姿估计网络
HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on SD Maps
将单应性约束引入多视图图像与SD地图的跨模态定位,通过BEV投影和语义对齐构建满足单应性的输入对,并利用单应关系引导特征融合与位姿回归,为自动驾驶低成本定位提供了可复用的几何先验注入方式。
G$^2$VLM:统一三维重建与空间推理的几何基础视觉语言模型
G$^2$VLM: Geometry Grounded Vision Language Model with Unified 3D Reconstruction and Spatial Reasoning
把前馈三维重建模型学到的几何特征直接接入 VLM 的表征空间,用交错推理与上下文学习让语言模型「读懂」几何特征;做空间理解或多模态三维任务的可以借鉴这种统一训练范式,用易得的多视图/视频数据替代难采集的三维标注。
EchoPOSE:面向左心室三维形状重建的稀疏超声心动图 6D 位姿估计
EchoPOSE: 6D Pose Estimation of Sparse Echocardiograms for Left-Ventricular 3D Shape Reconstruction
把稀疏多平面 2D 超声视图当作多视图位姿估计问题:用 Transformer 融合局部图像特征与全局多视图上下文回归分割体的 6D 位姿,再用图调和算法把位姿约束下的轮廓重建为心动周期内的 3D 形状;其几何一致性损失与「稀疏视图+位姿+形变重建」范式可迁移到其他稀疏视角 3D 重建任务。
第二视角图像能否充当一种语言?面向 X 射线违禁品检测的几何与语义跨模态推理
Can a Second-View Image Be a Language? Geometric and Semantic Cross-Modal Reasoning for X-ray Prohibited Item Detection
把第二视角图像当作「类语言模态」与文本语义联合对齐,并用结构化思维链(top→side→conclusion)组织跨视角几何与跨模态语义的推理,这一设定可迁移到任何多视角+文本的检测或问答任务中。
面向高效多视图几何 Transformer 的块稀疏全局注意力
Block-Sparse Global Attention for Efficient Multi-View Geometry Transformers
把稠密全局注意力换成免训练的块稀疏注意力,可直接插到 VGGT、π³、MapAnything 这类前馈多视图重建 Transformer 中,在几乎不掉性能的前提下把大图集推理加速 3 倍以上,是处理大规模多视图输入时一个即插即用的效率手段。
面向视觉语言模型空间智能的抽象3D感知
Abstract 3D Perception for Spatial Intelligence in Vision-Language Models
通过抽象边界框将3D几何结构编码给VLM,无需额外训练即可提升空间推理能力,为视觉语言模型中的3D理解提供了一种可复用的零样本增强手段。
AVGGT:重新审视全局注意力以加速 VGGT
AVGGT: Rethinking Global Attention for Accelerating VGGT
对做多视图三维重建的人,这篇给出了 VGGT/π³ 中全局注意力各层分工的实证结论(早层无对应、中层做跨视图对齐、末层仅微调),并据此提出免训练的两步加速:早层全局注意力改为帧内注意力、中层全局注意力对 patch token 的 K/V 做保对角子采样加均值填充,可直接套用到其他交替全局-帧注意力架构上。