LiteVGGT：通过几何感知缓存词元合并加速原生 VGGT
LiteVGGT: Boosting Vanilla VGGT via Geometry-aware Cached Token Merging
把「词元合并」这一 ViT 加速手段引入 VGGT 这类多视图几何 Transformer，并利用相邻层合并决策稳定的性质缓存复用合并索引，可直接迁移到其他长序列视觉 Transformer（如多视图/视频 backbone）的推理加速与显存压缩。
原文依据 we propose LiteVGGT, achieving up to 10x speedup and substantial memory reduction
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论如视觉几何接地 Transformer（VGGT）这类三维视觉基础模型在几何感知方面已取得很大进展。然而，对于长序列而言它耗时且占用大量内存，限制了其在超过数百张图像的大规模场景中的应用。为此，我们提出 LiteVGGT，实现最高 10 倍加速并大幅降低内存占用，从而能够高效处理 1000 张图像规模的场景。我们针对三维重建得出两点关键洞见：1）来自局部图像区域的词元具有内在的几何相关性，导致高度相似性与计算冗余；2）相邻网络层之间的词元相似性保持稳定，使得合并决策可以复用。基于这两点，我们设计了一种简单而高效的策略，称为几何感知缓存词元合并。我们分析每个词元的几何重要性，优化锚词元的选择，以更好地保留重建所需的关键信息。我们还在各层之间缓存并复用合并索引，在精度影响极小的前提下大幅降低延迟。该策略保留了 VGGT 的核心性能，并支持高效的微调与 FP8 量化以进一步获益。大量实验验证了 LiteVGGT 的有效性、可扩展性与鲁棒性。
英文原文摘要 1259 字符
3D vision foundation models like Visual Geometry Grounded Transformer (VGGT) have advanced greatly in geometric perception. However it is time-consuming and memory-intensive for long sequences, limiting application to large-scale scenes beyond hundreds of images. To address this, we propose LiteVGGT, achieving up to 10x speedup and substantial memory reduction, enabling efficient processing of 1000-image scenes. We derive two key insights for 3D reconstruction: 1) tokens from local image regions have inherent geometric correlations, leading to high similarity and computational redundancy; 2) token similarity across adjacent network layers remains stable, allowing for reusable merge decisions. Guided by these, we design a simple yet efficient strategy, dubbed geometry-aware cached token merging . We analyze each token's geometric importance, optimizing anchor token selection to better preserve key information for reconstruction. We also cache and reuse merge indices across layers, substantially reducing latency with minimal accuracy impact. This strategy retains VGGT's core performance, enabling efficient fine-tuning and FP8 quantization for further gains. Extensive experiments validate LiteVGGT's effectiveness, scalability, and robustness.