VGGT-Det：挖掘 VGGT 内部先验实现无传感器几何的多视图室内三维目标检测
VGGT-Det: Mining VGGT Internal Priors for Sensor-Geometry-Free Multi-View Indoor 3D Object Detection
将 VGGT 编码器内部注意力图作为语义先验初始化目标查询、并用可学习 See-Query 跨层聚合几何特征，为无相机位姿条件下的多视图三维检测提供了可复用的查询生成与特征聚合范式。
原文依据 exploits VGGT attention maps as semantic priors to initialize object queries
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论当前的多视图室内三维目标检测器依赖获取成本高昂的传感器几何信息——即精确标定的多视图相机位姿——来将多视图信息融合为全局场景表示，这限制了其在真实场景中的部署。我们针对一种更实用的设定：无传感器几何（SG-Free）的多视图室内三维目标检测，其中不存在传感器提供的几何输入（多视图位姿或深度）。近期的视觉几何基础 Transformer（VGGT）表明，可以直接从图像中推断出强三维线索。基于这一洞见，我们提出 VGGT-Det，这是首个专为 SG-Free 多视图室内三维目标检测设计的框架。我们的方法并非仅仅消费 VGGT 的预测结果，而是将 VGGT 编码器集成到一个基于 Transformer 的流程中。为了有效利用 VGGT 内部的语义与几何先验，我们引入两个新颖的关键组件：（i）注意力引导查询生成（AG）：利用 VGGT 注意力图作为语义先验来初始化目标查询，通过聚焦物体区域同时保留全局空间结构来改进定位。（ii）查询驱动特征聚合（QD）：一个可学习的 See-Query 与目标查询交互以“看到”它们所需的信息，然后动态聚合 VGGT 各层中逐步将 2D 特征提升为 3D 的多层级几何特征。实验表明，VGGT-Det 在 ScanNet 和 ARKitScenes 上分别以 4.4 和 8.6 mAP@0.25 显著超越 SG-Free 基线。消融实验表明，VGGT 内部学习到的语义与几何先验可以被我们的 AG 和 QD 有效利用。源代码和预训练模型可在 GitHub 项目页面获取：https://github.com/yangcaoai/VGGT-Det-CVPR2026
英文原文摘要 1776 字符
Current multi-view indoor 3D object detectors rely on sensor geometry that is costly to obtain--i.e., precisely calibrated multi-view camera poses--to fuse multi-view information into a global scene representation, limiting deployment in real-world scenes. We target a more practical setting: Sensor-Geometry-Free (SG-Free) multi-view indoor 3D object detection, where there are no sensor-provided geometric inputs (multi-view poses or depth). Recent Visual Geometry Grounded Transformer (VGGT) shows that strong 3D cues can be inferred directly from images. Building on this insight, we present VGGT-Det, the first framework tailored for SG-Free multi-view indoor 3D object detection. Rather than merely consuming VGGT predictions, our method integrates VGGT encoder into a transformer-based pipeline. To effectively leverage both the semantic and geometric priors from inside VGGT, we introduce two novel key components: (i) Attention-Guided Query Generation (AG): exploits VGGT attention maps as semantic priors to initialize object queries, improving localization by focusing on object regions while preserving global spatial structure. (ii) Query-Driven Feature Aggregation (QD): a learnable See-Query interacts with object queries to 'see' what they need, then dynamically aggregates multi-level geometric features across VGGT layers that progressively lift 2D features into 3D. Experiments show that VGGT-Det significantly surpasses SG-Free baselines by 4.4 and 8.6 mAP@0.25 on ScanNet and ARKitScenes, respectively. Ablation study shows that VGGT's internally learned semantic and geometric priors can be effectively leveraged by our AG and QD. Source code and pre-trained models are available at the GitHub project page: https://github.com/yangcaoai/VGGT-Det-CVPR2026