Any4D：统一前馈度量尺度 4D 重建
Any4D: Unified Feed-Forward Metric 4D Reconstruction
把 4D 场景拆成局部相机坐标下的自中心因子（深度、内参）与全局世界坐标下的他中心因子（外参、场景流）的模块化表示，使单一前馈 Transformer 能统一处理 N 帧稠密运动与几何预测，并可直接接入 RGB-D、IMU、Radar Doppler 等额外传感器；这套表示与多模态接口可复用到动态场景重建、新视角合成与机器人感知。
原文依据 a modular representation of a 4D scene; specifically, per-view 4D predictions are encoded using a variety of egocentric factors
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论本文提出 Any4D，一个面向度量尺度稠密前馈 4D 重建的可扩展多视图 Transformer。与通常聚焦于双视图稠密场景流或稀疏 3D 点跟踪的已有工作不同，Any4D 直接为 N 帧生成逐像素的运动与几何预测。此外，与近期其他基于单目 RGB 视频的 4D 重建方法不同，当存在额外模态与传感器（如 RGB-D 帧、基于 IMU 的自运动、Radar 多普勒测量）时，Any4D 能够对其加以处理。使这一灵活框架成为可能的关键创新之一，是 4D 场景的模块化表示；具体而言，逐视图的 4D 预测被编码为在局部相机坐标系下表示的多类自中心因子（深度图与相机内参），以及在全局世界坐标系下表示的多类他中心因子（相机外参与场景流）。我们在多种设置下取得了更优性能——精度上误差降低 2-3 倍，计算效率上快 15 倍——为多种下游应用开辟了途径。
英文原文摘要 1098 字符
We present Any4D, a scalable multi-view transformer for metric-scale, dense feed-forward 4D reconstruction. Any4D directly generates per-pixel motion and geometry predictions for N frames, in contrast to prior work that typically focuses on either 2-view dense scene flow or sparse 3D point tracking. Moreover, unlike other recent methods for 4D reconstruction from monocular RGB videos, Any4D can process additional modalities and sensors such as RGB-D frames, IMU-based egomotion, and Radar Doppler measurements, when available. One of the key innovations that allows for such a flexible framework is a modular representation of a 4D scene; specifically, per-view 4D predictions are encoded using a variety of egocentric factors (depthmaps and camera intrinsics) represented in local camera coordinates, and allocentric factors (camera extrinsics and scene flow) represented in global world coordinates. We achieve superior performance across diverse setups - both in terms of accuracy (2-3X lower error) and compute efficiency (15X faster) - opening avenues for multiple downstream applications.