SeeU：通过 4D 动态感知生成看见未见世界
SeeU: Seeing the Unseen World via 4D Dynamics-aware Generation
将稀疏单目 2D 帧重建为 4D 世界，在低秩表示上学习连续动态并施加物理约束，再重投影到任意时间与视角生成未见内容；这种 2D→4D→2D 框架可复用于视频外推、新视角生成与视频编辑等任务。
原文依据 SeeU first reconstructs the 4D world from sparse and monocular 2D frames (2D\to4D).
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论图像和视频是 4D 世界（3D 空间 + 时间）的离散 2D 投影。大多数视觉理解、预测和生成直接作用于 2D 观测，导致性能次优。我们提出 SeeU，一种学习连续 4D 动态并生成未见视觉内容的新方法。SeeU 的原理是一个新的 2D→4D→2D 学习框架。SeeU 首先从稀疏且单目的 2D 帧重建 4D 世界（2D→4D）。然后，它在低秩表示和物理约束上学习连续的 4D 动态（离散 4D→连续 4D）。最后，SeeU 在时间上向前滚动世界，在采样的时间和视角下将其重新投影回 2D，并基于时空上下文感知生成未见区域（4D→2D）。通过在 4D 中建模动态，SeeU 实现了连续且物理一致的新视觉生成，在多个任务中展现出强大潜力，包括未见时序生成、未见空间生成和视频编辑。所有数据和代码将在 https://yuyuanspace.com/SeeU/ 公开。
英文原文摘要 1106 字符
Images and videos are discrete 2D projections of the 4D world (3D space + time). Most visual understanding, prediction, and generation operate directly on 2D observations, leading to suboptimal performance. We propose SeeU, a novel approach that learns the continuous 4D dynamics and generate the unseen visual contents. The principle behind SeeU is a new 2D\to4D\to2D learning framework. SeeU first reconstructs the 4D world from sparse and monocular 2D frames (2D\to4D). It then learns the continuous 4D dynamics on a low-rank representation and physical constraints (discrete 4D\tocontinuous 4D). Finally, SeeU rolls the world forward in time, re-projects it back to 2D at sampled times and viewpoints, and generates unseen regions based on spatial-temporal context awareness (4D\to2D). By modeling dynamics in 4D, SeeU achieves continuous and physically-consistent novel visual generation, demonstrating strong potentials in multiple tasks including unseen temporal generation, unseen spatial generation, and video editing. All data and code will be public at \href https://yuyuanspace.com/SeeU/ here .