Tag · 22 篇
深度估计
WalkGPT：面向行人导航的深度感知分割接地视觉语言对话
WalkGPT: Grounded Vision-Language Conversation with Depth-Aware Segmentation for Pedestrian Navigation
把分割掩码与相对深度作为 LVLM 的输出 token 级接地信号，并用多尺度查询投影器在空间层级上聚合图像 token，可复用于任何需要像素级接地与深度推理的视觉语言任务，无需用户提供点或锚框提示。
解锁三维视觉几何估计的关键因素之力
Unlocking the Power of Critical Factors for 3D Visual Geometry Estimation
论文通过系统性消融实验揭示了数据多样性、损失函数设计、监督对齐方式等关键因素对前馈三维几何估计的影响，并提出了结合优化方法优势的一致性损失函数和高分辨率架构设计，这些发现和设计可直接用于改进深度估计、相机位姿估计和点云重建等视觉任务。
独特人生，共享世界：从单人生视频中学习
Unique Lives, Shared World: Learning from Single-Life Videos
提出仅用单个人第一人称视频进行自监督训练视觉编码器的范式，并设计跨注意力指标量化不同模型内部表征的功能对齐，为利用无标注个人视频学习通用几何表征提供了新思路。
基于扩散框架实现照片级真实且高效的散景渲染
Towards Photorealistic and Efficient Bokeh Rendering via Diffusion Framework
将散景渲染与超分辨率统一进单个扩散框架，并用焦点感知掩码注意力与退化感知深度模块处理低分辨率真实图像，为手机端计算摄影中「先复原再渲染」的两阶段流水线提供了一体化替代方案。
SpiderCam：基于差分散焦的低功耗快照深度相机
SpiderCam: Low-Power Snapshot Depth from Differential Defocus
把 depth-from-differential-defocus 从离线算法变成可在极小 FPGA 上流式运行的快照深度方案，其针对低功耗传感器的算法改进与内存局部化流式实现，可为资源受限端的被动深度感知提供可复用设计思路。
SpatialVID：带空间标注的大规模视频数据集
SpatialVID: A Large-Scale Video Dataset with Spatial Annotations
SpatialVID 提供了带逐帧相机位姿、深度图、动态掩码和运动指令的大规模真实视频，可直接用于训练可控视频生成、几何重建和世界模型，解决这些任务缺乏真实动态场景真值相机运动数据的问题。
SpaceDrive：将空间感知注入基于视觉语言模型的自动驾驶
SpaceDrive: Infusing Spatial Awareness into VLM-based Autonomous Driving
把 3D 坐标（多视角深度、历史自车状态、文本提示）统一编码为位置编码，既叠加到 2D 视觉 token 上，又替代数字 token 作为 VLM 的输入输出，使 VLM 能直接回归连续轨迹坐标；这一「空间位置编码替代数字 token」的思路可迁移到任何需要 VLM 做几何量输出的视觉任务。
SceneScribe-1M：一个具有全面几何与语义标注的大规模视频数据集
SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations
该数据集同时提供相机参数、稠密深度与一致 3D 点轨迹，可直接用于训练单目深度估计、动态点跟踪与相机可控视频生成模型，并为几何感知的视频生成提供统一的监督信号与评测基准。
SCE-Depth：面向宽视场深度估计的球面复眼框架
SCE-Depth: A Spherical Compound Eye Framework for Wide FOV Depth Estimation
把球面成像数据直接在 HEALPix 网格上用球面网络处理，避免鱼眼/全景到平面的模态转换误差；其球面 Sobel 算子（SGFE）与球面梯度损失（SGL）可迁移到任何宽 FOV 球面深度或稠密预测任务。
Real2Sim2Real：用于后节眼科手术深度估计的 RetinalDepth-64K
Real2Sim2Real: RetinalDepth-64K for Depth Estimation in Posterior Segment Ophthalmic Surgery
对做单目/立体/视频深度估计的人，这是一个可复用的合成数据生成范式：用 Blender 建模解剖结构并加入折射介质与后处理，再配合时序深度方差指标评估帧间稳定性，可直接迁移到其他缺乏深度真值的显微或内窥场景。
面向基于视觉人机交互的深度与运动融合实时多模态指尖接触检测
Real-Time Multimodal Fingertip Contact Detection via Depth and Motion Fusion for Vision-Based Human-Computer Interaction
用专用 RGB-D 数据微调现成深度估计模型，把毫米级深度误差压到 3.8 mm，从而区分悬停与真实接触；这套「小规模专用数据 + 深度模型微调」的流程可直接迁移到其他需要亚厘米精度的手部/人体交互感知任务。
PromptDepth：面向具身智能的高效可提示几何三维视觉模型
PromptDepth: Efficient and Promptable Geometric 3D Vision Model for Embodied Intelligence
PromptDepth 将深度估计与实例级分割统一到一个前馈网络中，通过提示（prompt）灵活切换全景/实例/跟踪深度图输出，为具身智能提供实时 3D 感知与交互能力；其 ILDS 损失和 Gram Anchoring 技术可缓解密集与离散表示冲突，可复用于其他多任务密集预测模型。
OmniVGGT：全模态驱动的视觉几何基础 Transformer
OmniVGGT: Omni-Modality Driven Visual Geometry Grounded Transformer
GeoAdapter 通过零初始化卷积将深度与相机内外参注入空间基础模型，配合随机模态子集训练，使模型在推理时可灵活利用任意数量辅助几何输入而不牺牲速度，为多视图三维重建与相机姿态估计提供了可复用的多模态融合范式。
OmniFood8K：基于分层频域对齐融合的单图营养估计
OmniFood8K: Single-Image Nutrition Estimation via Hierarchical Frequency-Aligned Fusion
单张 RGB 图像经深度估计后，用频域分层对齐融合 RGB 与深度特征，并用基于掩码的检测头动态选择通道突出关键食材区域；这套「伪深度+频域融合」思路可迁移到任何缺乏深度传感器的细粒度识别任务。
LiteSense：以 RGB 提升轻量 ToF 实现高分辨率度量深度估计
LiteSense: Lifting Lightweight ToF with RGB for High-Resolution Metric Depth Estimation
用 ToF 的 zone-wise 直方图（CNH）经交叉注意力注入 U-Net 特征，为轻量 RGB-D 网络提供显式度量先验，可作为低成本传感器下高分辨率度量深度估计的可复用融合范式。
面向3D语义分割多模态训练的图文到点云特征反投影
Image-to-Point Cloud Feature Back-Projection for Multimodal Training of 3D Semantic Segmentation
把图像特征中心按估计深度反投影到点云特征空间，使图像信息在训练期注入点云分支、推理期可关闭，为纯激光雷达部署提供了一种可插拔的多模态训练增强手段。
IDESplat：面向可泛化三维高斯泼溅的迭代深度概率估计
IDESplat: Iterative Depth Probability Estimation for Generalizable 3D Gaussian Splatting
提出迭代深度概率提升单元（DPBU），通过级联 warp 的极线注意力乘法融合来精化深度候选，可直接用于提升前馈式高斯泼溅的深度估计精度与泛化性。
发丝守护者：在深度、立体和新视角中拯救软边界
Guardians of the Hair: Rescuing Soft Boundaries in Depth, Stereo, and Novel Views
针对细软边界（如发丝）在深度估计和新视角合成中的模糊问题，提出可插拔的深度修复网络和基于前向变形+生成式修复的视角合成流程，可直接用于提升现有深度模型和NVS方法在边界区域的细节保真度。
几何-光度事件式三维高斯光线追踪
Geometric-Photometric Event-based 3D Gaussian Ray Tracing
将事件式 3DGS 的渲染解耦为逐事件深度光线追踪与基于扭曲事件图像的快照式辐射渲染两条分支，使稀疏事件的高时序信息能被细粒度利用；这一「几何/光度分离 + 光线追踪」思路可迁移到其他事件相机或稀疏观测下的三维重建与新视角合成工作。
GS-ASM：基于2D高斯泼溅监督的主动立体匹配
GS-ASM: 2DGS-Supervised Active Stereo Matching
利用2D高斯泼溅显式建模场景几何并合成主动投影图案，生成视差代理标签，从而将自监督主动立体匹配提升到监督训练水平；其混合监督正则化动态调整损失权重，可复用于其他多监督融合的深度估计任务。
融合深度与语义的概率平面图定位
Fusion of Depth and Semantics for Probabilistic Floorplan Localization
将深度与语义以概率分布形式统一融合进射线匹配框架，并用 Jensen-Shannon 散度保留语义歧义而非硬标签化，这一思路可迁移到其他需要融合多模态不确定性的位姿估计与匹配任务。
DepthFocus：面向透视场景的可控深度估计
DepthFocus: Controllable Depth Estimation for See-Through Scenes
把立体深度估计从静态前馈改为以物理参考深度为条件的可控计算，用双条件机制动态调制特征，可直接借鉴到透明/反射场景的多层深度恢复与意图驱动感知。