3D 视觉与重建 · CVPR2026 ·2026.06.03

FunREC:从第一人称交互视频重建功能性三维场景

FUN REC * Reconstructing Functional 3D Scenes from Egocentric Interaction Videos

Alexandros Delitzas、Chenyangguang Zhang、Alexey Gavryushin、Tommaso Di Mario、Boyang Sun、Rishabh Dabral 等 11 人

与你有关的部分

从第一人称 RGB-D 交互视频中自动发现关节部件、估计运动学参数并重建规范化空间下的可仿真网格,为机器人操作与仿真提供可直接导出的 URDF/USD 资产;其无需多状态采集或 CAD 先验的设定,对做动态场景重建与具身数据获取的研究者可直接复用。

原文依据 FunREC operates directly on in-the-wild human interaction sequences to recover interactable 3D scenes.
可迁移到 关节物体重建第一人称视频理解机器人-场景交互可供性预测

摘要译文

由模型翻译 · 术语统一 · 请对照原文核对关键结论

本文提出 FunREC,一种直接从第一人称 RGB-D 交互视频重建室内场景功能性三维数字孪生的方法。与依赖受控装置、多状态采集或 CAD 先验的现有铰接物体重建方法不同,FunREC 直接作用于野外人类交互序列,以恢复可交互的三维场景。它自动发现铰接部件、估计其运动学参数、跟踪其三维运动,并在规范化空间中重建静态与运动几何,从而得到可仿真的网格。在新的真实与仿真基准上,FunREC 大幅超越先前工作,部件分割最高取得 +50 平均交并比的提升,铰接与位姿误差降低 5-10 倍,重建精度也显著更高。我们进一步展示了面向仿真的 URDF/USD 导出、手部引导的可供性映射以及机器人-场景交互等应用。项目主页:functionalscenes.github.io。

英文原文摘要 1001 字符

We present FunREC, a method for reconstructing functional 3D digital twins of indoor scenes directly from egocentric RGB-D interaction videos. Unlike existing methods on articulated reconstruction, which rely on controlled setups, multi-state captures, or CAD priors, FunREC operates directly on in-the-wild human interaction sequences to recover interactable 3D scenes. It automatically discovers articulated parts, estimates their kinematic parameters, tracks their 3D motion, and reconstructs static and moving geometry in canonical space, yielding simulation-compatible meshes. Across new real and simulated benchmarks, FunREC surpasses prior work by a large margin, achieving up to +50 mIoU improvement in part segmentation, 5-10x lower articulation and pose errors, and significantly higher reconstruction accuracy. We further demonstrate applications on URDF/USD export for simulation, hand-guided affordance mapping and robot-scene interaction. Our project page is: functionalscenes.github.io.

标签

会议 CVPR2026
页码 28446-28457
Bibkey
来源 CVF Open Access