3D 视觉与重建 · CVPR2026 ·2026.06.03

VGG-T$^3$:大规模离线前馈三维重建

VGG-T$^3$: Offline Feed-Forward 3D Reconstruction at Scale

Sven Elflein、Ruilong Li、Sérgio Agostinho、Zan Gojcic、Laura Leal-Taixé、Qunjie Zhou 等 7 人

与你有关的部分

用测试时训练把随视角数增长的 KV 场景表示蒸馏进固定大小的 MLP,使前馈式多视图重建的复杂度从二次降为线性,可直接用于大规模图像集的三维重建与基于场景表示的视觉定位。

原文依据 we distill into a fixed-size Multi-Layer Perceptron (MLP) via test-time training
可迁移到 多视图三维重建点图估计视觉定位新视角合成

摘要译文

由模型翻译 · 术语统一 · 请对照原文核对关键结论

我们提出一个可扩展的三维重建模型,解决了离线前馈方法的一个关键局限:其计算与内存需求随输入图像数量呈二次增长。我们的方法基于一个关键洞察:这一瓶颈源于场景几何的可变长度键值(KV)空间表示,我们通过测试时训练将其蒸馏为固定大小的多层感知机(MLP)。我们的 VGG-T^3(Visual Geometry Grounded Test Time Training)随输入视角数量线性扩展,与在线模型类似,仅用 54 秒即可重建一个包含 1k 张图像的集合,相比依赖 softmax 注意力的基线实现 11.6 倍加速。由于我们的方法保留了全局场景聚合能力,我们的点图重建误差以较大幅度优于其他线性时间方法。最后,我们通过用未见图像查询场景表示,展示了该模型的视觉定位能力。

英文原文摘要 996 字符

We present a scalable 3D reconstruction model that addresses a critical limitation in offline feed-forward methods: their computational and memory requirements grow quadratically w.r.t. the number of input images. Our approach is built on the key insight that this bottleneck stems from the varying-length Key-Value (KV) space representation of scene geometry, which we distill into a fixed-size Multi-Layer Perceptron (MLP) via test-time training. Our VGG-T^3 (Visual Geometry Grounded Test Time Training) scales linearly w.r.t. the number of input views, similar to online models, and reconstructs a 1k image collection in just 54 seconds, achieving a 11.6xspeed-up over baselines that rely on softmax attention. Since our method retains global scene aggregation capability, our point map reconstruction error outperforming other linear-time methods by large margins. Finally, we demonstrate visual localization capabilities of our model by querying the scene representation with unseen images.

标签

会议 CVPR2026
页码 36464-36474
Bibkey
来源 CVF Open Access