Tag · 22 篇
相机位姿估计
VGGT-Ω
VGGT-Ω
用单一密集预测头加多任务监督替代高分辨率卷积层与全局注意力,并以场景 token 做特征聚合,这套架构与自监督训练协议可直接迁移到其他前馈三维重建或位姿估计模型的规模化训练中。
V-DPM:基于动态点图的四维视频重建
V-DPM: 4D Video Reconstruction with Dynamic Point Maps
把 DUSt3R 的不变点图扩展到视频序列并显式建模每点三维运动,可直接复用于动态场景的前馈式 4D 重建与相机位姿估计;其「在 VGGT 上用少量合成数据适配新表示」的做法,也为把静态预训练重建器迁移到动态设定提供了可复用范式。
Unposed-to-3D:从真实世界图像学习可直接用于仿真的车辆模型
Unposed-to-3D: Learning Simulation-Ready Vehicles from Real-World Images
用相机预测检测头替代已知位姿监督,把可微渲染的光度误差当作自监督信号,使三维重建网络能从无位姿的真实驾驶图像中学习;这套「位姿预测+可微渲染」闭环可直接迁移到其他缺少相机标注的真实数据三维重建任务。
解锁三维视觉几何估计的关键因素之力
Unlocking the Power of Critical Factors for 3D Visual Geometry Estimation
论文通过系统性消融实验揭示了数据多样性、损失函数设计、监督对齐方式等关键因素对前馈三维几何估计的影响,并提出了结合优化方法优势的一致性损失函数和高分辨率架构设计,这些发现和设计可直接用于改进深度估计、相机位姿估计和点云重建等视觉任务。
TokenSplat:面向无位姿前馈重建的词元对齐三维高斯泼溅
TokenSplat: Token-aligned 3D Gaussian Splatting for Feed-forward Pose-free Reconstruction
把跨视角语义对应直接放在特征空间里做词元对齐,并用非对称双流解码器把相机词元与图像词元解耦,这套设计可迁移到任何需要从无位姿多视图前馈重建三维表示(高斯/NeRF/点云)的流程中,省去逐场景优化与迭代位姿精化。
TROPHIES:从多视角视频中时序重建场所、人体与相机
TROPHIES: Temporal Reconstruction of Places, Humans, and Cameras from Multi-view Videos
把动态人体、静态场景与相机位姿放进同一全局坐标系联合优化,并用尺度一致性、接触先验与跨视角时序一致性做耦合,可直接借鉴到多视角/自我中心视频下的 4D 场景重建与人体-场景交互建模。
SpatialVID:带空间标注的大规模视频数据集
SpatialVID: A Large-Scale Video Dataset with Spatial Annotations
SpatialVID 提供了带逐帧相机位姿、深度图、动态掩码和运动指令的大规模真实视频,可直接用于训练可控视频生成、几何重建和世界模型,解决这些任务缺乏真实动态场景真值相机运动数据的问题。
仿射相机模型下视图图的可解性
Solvability of the Viewing Graph Under the Affine Camera Model
为 SfM 提供一种在仿射相机模型下判定视图图是否可解(相机是否被唯一确定)的线性系统方法,可用于在增量式/全局式 SfM 中预先筛除不可解或退化配置,并指导视图图构建与边选择。
从频率与运动中看见深度:面向单目深度估计的渐进式训练范式
Seeing Depth Through Frequency and Motion: A Progressive Training Paradigm for Monocular Depth Estimation
可即插即用的频率引导采样模块(FGDepth)用于抑制频率混叠、锐化深度边界,以及用通道对齐注意力建模跨帧运动以提升位姿估计,这两点可直接迁移到其他自监督深度/位姿联合训练框架。
SceneScribe-1M:一个具有全面几何与语义标注的大规模视频数据集
SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations
该数据集同时提供相机参数、稠密深度与一致 3D 点轨迹,可直接用于训练单目深度估计、动态点跟踪与相机可控视频生成模型,并为几何感知的视频生成提供统一的监督信号与评测基准。
RHO:基于OpenStreetMap的鲁棒整体度量跨视角地理定位
RHO: Robust Holistic OSM-Based Metric Cross-View Geo-Localization
提出基于全景图与OSM的度量跨视角地理定位新设定,并设计Split-Undistort-Merge模块处理全景畸变、Position-Orientation Fusion机制融合位置与朝向,为视觉定位中全景畸变校正与多模态融合提供可复用技术。
ORBIT:利用360度视频在野外基准测试SfM
ORBIT: Benchmarking SfM in the Wild with 360deg Video
为视觉研究者提供了一个基于360度全景视频构建的、具有挑战性的SfM相机位姿估计基准,可用于评估和推动在复杂相机运动和动态场景下的三维重建与定位方法。
MoRe:运动感知的前馈 4D 重建 Transformer
MoRe: Motion-aware Feed-forward 4D Reconstruction Transformer
用 attention-forcing 与分组因果注意力把动态运动从静态结构中解耦,为单目视频下的前馈式动态重建提供了可复用的训练策略与注意力设计,可直接迁移到动态 NeRF/3DGS 的快速推理场景。
在测试时利用先验学习三维重建
Learning 3D Reconstruction with Priors in Test Time
把相机位姿、内参、深度等先验转成推理时的惩罚项,配合多视图光度/几何一致性自监督目标,在冻结的 image-only 多视图 Transformer 上做测试时约束优化,可直接复用于点图估计、位姿估计等 3D 任务的后处理式性能提升。
全局运动恢复结构与前馈重建的结合
Global Structure-from-Motion Meets Feedforward Reconstruction
将前馈重建模型作为经典 SfM 流程中的组件(如初始化、匹配或失败场景兜底),在低纹理、弱重叠、对称场景下弥补经典 SfM 的失效,同时保留经典方法在标准场景下的精度与可扩展性;对做三维重建的人,这是一个可直接复用的混合式 pipeline 设计范式。
Gen3R:三维场景生成与前馈重建的结合
Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction
把 VGGT 这类前馈重建模型当作几何编码器,用适配器把其 token 对齐到视频扩散模型的外观潜空间,从而在同一个扩散过程里同时生成 RGB 视频与相机位姿、深度、点云;对做 3D 生成的人,这是一条「复用重建基础模型当几何先验」的现成路径,对做重建的人则提示可用生成先验提升鲁棒性。
从无到有:通过新视角合成的自监督三维重建
From None to All: Self-Supervised 3D Reconstruction via Novel View Synthesis
把相机参数预测与显式 3D 高斯重建放进同一个共享 Transformer 骨干网络、用掩码注意力约束,仅靠 2D 光度监督即可从未标定、无位姿的图像集合前馈重建,为无标注数据上的可扩展三维重建提供了可复用的自监督训练范式。
Energy-GS:图像能量引导的位姿对齐高斯泼溅与重设计的位姿梯度流
Energy-GS: Image Energy-guided Pose Alignment Gaussian Splatting with redesigned pose gradient flow
针对 3DGS 基于光栅化的点渲染缺乏 NeRF 式可控采样、位姿梯度不稳定的问题,重新设计高斯图元的位姿梯度流并引入图像能量引导的渐进式位姿对齐约束,可直接用于无位姿先验的稀疏视图重建与 SLAM 中的位姿-地图联合优化。
DAGE:面向高效细粒度几何估计的双流架构
DAGE: Dual-Stream Architecture for Efficient and Fine-Grained Geometry Estimation
用低分辨率全局流负责跨视图一致性与相机估计、高分辨率逐帧流保留细节,再以轻量适配器跨注意力融合,为高分辨率长序列的深度/点图与位姿联合估计提供了可复用的解耦式双流范式。
CUPID:联合物体与位姿建模的生成式三维重建
CUPID: Generative 3D Reconstruction via Joint Object and Pose Modeling
将相机位姿估计与物体生成联合建模为两阶段流模型,利用2D-3D对应关系鲁棒估计位姿,再以像素对齐特征条件化精化生成,为单图/多视图三维重建提供无需后优化的统一生成框架。
仿射透视三点问题
Affine Perspective-Three-Point Problem
为弱透视/准透视相机下的 P3P 位姿估计提供闭式解,并用少量迭代把仿射解升级为精确解,可直接用于小深度变化场景的快速绝对位姿求解与 RANSAC 内点估计。
AMB3R:带后端的前馈式精确度量尺度三维重建
AMB3R: Accurate Feed-forward Metric-scale 3D Reconstruction with Backend
用稀疏紧凑的体积场景表示作为后端,把多视图前馈网络零优化地扩展到未标定的视觉里程计与任意数量图像的 SfM,可直接复用于需要度量尺度稠密重建与位姿估计的视觉管线。