Tag · 5 篇
三维重建
WorldStereo:通过三维几何记忆连接相机引导视频生成与场景重建
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
把增量更新的点云作为全局几何记忆、用3D对应关系约束注意力感受野,为相机可控视频扩散提供了一种可复用的几何条件注入方式;同时其蒸馏骨干网络免联合训练的轻量控制分支设计,对做可控生成与少步采样的人有直接参考价值。
Rewis3d:三维重建提升弱监督语义分割
Rewis3d: Reconstruction Improves Weakly-Supervised Semantic Segmentation
把前馈三维重建得到的点云作为辅助监督信号,通过双师生架构在2D图像与重建3D点云之间施加语义一致性,从而把稀疏标注传播到整个场景;做稀疏标注分割或想利用视频几何线索补监督的人可直接复用这一思路。
MERG3R:面向大规模神经视觉几何的分治方法
MERG3R: A Divide-and-Conquer Approach to Large-Scale Neural Visual Geometry
对做前馈式三维重建的人,这篇给出了一个免训练的分治推理范式:把无序大图集切成重叠子集分别用 VGGT/Pi3 类模型重建,再用全局对齐加置信度加权光束法平差合并,可直接套用到任何受显存限制的几何基础模型上以突破其原生规模上限。
长尾互联网照片重建
Long-Tail Internet Photo Reconstruction
从已重建的互联网地标中采样稀疏子集来模拟长尾场景的相机分布,为稀疏视角三维重建提供了一种可扩展的监督构造方式;该思路可直接用于微调现有三维基础模型,提升极端稀疏与对称重复场景下的重建鲁棒性。
G$^2$VLM:统一三维重建与空间推理的几何基础视觉语言模型
G$^2$VLM: Geometry Grounded Vision Language Model with Unified 3D Reconstruction and Spatial Reasoning
把前馈三维重建模型学到的几何特征直接接入 VLM 的表征空间,用交错推理与上下文学习让语言模型「读懂」几何特征;做空间理解或多模态三维任务的可以借鉴这种统一训练范式,用易得的多视图/视频数据替代难采集的三维标注。