Tag · 42 篇
动态场景重建
Vista4D:基于 4D 点云的视频重拍摄
Vista4D: Video Reshooting with 4D Point Clouds
把输入视频与目标相机统一锚定在 4D 点云表示上,用静态像素分割 + 4D 重建显式保留已见内容并提供稠密相机信号,再用重建的多视角动态数据训练以抵抗真实点云伪影——这套「4D 点云作为中间表示 + 合成数据增强鲁棒性」的思路可直接迁移到新视角合成、动态场景编辑与视频重渲染任务。
VGGT-Ω
VGGT-Ω
用单一密集预测头加多任务监督替代高分辨率卷积层与全局注意力,并以场景 token 做特征聚合,这套架构与自监督训练协议可直接迁移到其他前馈三维重建或位姿估计模型的规模化训练中。
VAD-GS:面向动态城市场景三维高斯泼溅的可见性感知稠密化
VAD-GS: Visibility-Aware Densification for 3D Gaussian Splatting in Dynamic Urban Scenes
针对 3DGS 在无界动态城市场景中初始化点云覆盖不全导致梯度错误传播的问题,用体素级可见性推理筛出不可靠几何、再用多视图立体补出缺失结构来生成新的高斯基元,可直接迁移到自动驾驶场景重建与动态物体建模的稠密化环节。
SpeeDe3DGS:基于时序剪枝与运动分组的快速可形变三维高斯泼溅
SpeeDe3DGS: Speedy Deformable 3D Gaussian Splatting with Temporal Pruning and Motion Grouping
对做动态 3DGS 的人,这篇给出了一套把逐高斯神经推理换成共享 SE(3) 群变换 + 时序敏感剪枝的加速范式,可直接迁移到任何带神经运动场的可形变场景表示上,在几乎不掉画质的前提下把渲染提速一个数量级。
SparseCam4D:基于稀疏相机的时空一致 4D 重建
SparseCam4D: Spatio-Temporally Consistent 4D Reconstruction from Sparse Cameras
用生成模型提供的多视角/多帧观测替代密集相机阵列,并通过时空畸变场统一建模生成观测在空间与时间上的不一致性,为稀疏、无标定输入下的动态 4D 重建提供了可复用的「生成观测去噪」思路。
SV-GS:基于骨架驱动高斯泼溅的稀疏视角四维重建
SV-GS: Sparse View 4D Reconstruction with Skeleton-Driven Gaussian Splatting
把骨架关节位姿估计与细粒度形变解耦,只让关节位姿随时间变化,从而在稀疏时序观测下实现平滑运动插值并保留几何细节;该思路可直接迁移到稀疏相机下的动态高斯泼溅重建与单目视频新视角合成。
SLARM:面向动态场景的流式与语言对齐重建模型
SLARM: Streaming and Language-Aligned Reconstruction Model for Dynamic Scenes
SLARM 将语言对齐的语义特征与动态重建紧耦合,并采用窗口因果注意力实现低延迟流式推理,为动态场景重建提供了无需光流监督的高阶运动建模方案,可直接用于需要实时语义查询的 3D 重建任务。
RetimeGS:4D 高斯泼溅的连续时间重建
RetimeGS: Continuous-Time Reconstruction of 4D Gaussian Splatting
把 4DGS 的时序混叠问题显式建模为高斯的时间行为定义,并用光流引导初始化与三重渲染监督来约束连续时刻的一致性;做动态场景重建或新视角合成时,可直接借用这套连续时间监督策略来消除插帧鬼影。
具有可控可压缩性与接触感知的实时动态场景渲染
Real-Time Dynamic Scene Rendering with Controlled Compressibility and Contact Awareness
把预测速度投影到显式流形先验(Helmholtz 分解、各向异性可压缩方向先验、仿射族)上,可作为动态 3DGS 中约束高斯原语运动、抑制遮挡/接触边界伪影的通用正则化手段。
ReFlow:面向动态场景重建的自校正运动学习
ReFlow: Self-correction Motion Learning for Dynamic Scene Reconstruction
提出自校正流匹配机制,无需外部光流引导即可从单目视频学习3D运动,为动态场景重建提供了一种可复用的无监督运动监督范式。
RF4D:面向户外动态场景新视角合成的神经雷达场
RF4D:Neural Radar Fields for Novel View Synthesis in Outdoor Dynamic Scenes
将毫米波雷达的物理功率渲染公式与神经场结合,并引入场景流模块强制时序占用一致性,为恶劣天气下的动态场景新视角合成提供了可复用的雷达-神经场建模范式。
PackUV:用于 4D 体积视频的打包高斯 UV 图集
PackUV: Packed Gaussian UV Maps for 4D Volumetric Video
把全部高斯属性烘焙进多尺度 UV 图集,使 4D 高斯表示可直接走 HEVC/FFV1 等标准视频编解码器,为体积视频的存储与流式传输提供了图像原生的表示思路;其流引导高斯标注与关键帧机制也可复用于大运动与遮挡下的动态高斯拟合。
MotionScale:以可扩展 4D 高斯泼溅重建动态场景的外观、几何与运动
MotionScale: Reconstructing Appearance, Geometry, and Motion of Dynamic Scenes with Scalable 4D Gaussian Splatting
以聚类中心基变换参数化的可扩展运动场,配合背景扩展与前景传播两阶段渐进优化,为单目视频长时序大场景的动态重建提供了可复用的运动表示与训练调度思路。
MoVieS:一秒内完成运动感知的 4D 动态视角合成
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
用像素对齐的高斯原语显式监督时变运动,把外观、几何、运动统一进单一学习框架,使单目视频的 4D 重建、新视角合成与 3D 点跟踪共享同一表示;做动态场景重建或需要从视频直接导出场景流、运动分割的工作可直接复用这一表示与监督方式。
MoRel:基于锚框中继双向混合与层次稠密化的长程无闪烁 4D 运动建模
MoRel: Long-Range Flicker-Free 4D Motion Modeling via Anchor Relay-based Bidirectioanl Blending with Hierarchical Densification
把长时序动态场景的形变建模从逐帧高斯搬到关键帧锚框空间,用双向形变加可学习不透明度混合抑制时序闪烁,并用特征方差引导的层次稠密化控制锚框数量——这套「锚框中继 + 双向混合」思路可直接迁移到任何需要长视频、有界显存的动态高斯泼溅或动态 NeRF 管线。
MoRe:运动感知的前馈 4D 重建 Transformer
MoRe: Motion-aware Feed-forward 4D Reconstruction Transformer
用 attention-forcing 与分组因果注意力把动态运动从静态结构中解耦,为单目视频下的前馈式动态重建提供了可复用的训练策略与注意力设计,可直接迁移到动态 NeRF/3DGS 的快速推理场景。
MoRGS:面向可流式动态3D场景的高效逐高斯运动推理
MoRGS: Efficient Per-Gaussian Motion Reasoning for Streamable Dynamic 3D Scenes
将稀疏关键视图的光流作为轻量运动线索,引导每个高斯球的运动朝向真实场景动态,并学习运动偏移场和置信度来补偿光流的稀疏性与视角依赖性,为在线动态重建提供可复用的运动推理模块。
MSCD-GS:基于高斯泼溅的运动分离协同去模糊动态重建
MSCD-GS: Motion-Separated Cooperative Deblurring Dynamic Reconstruction via Gaussian Splatting
把曝光时间内的相机与物体运动分别建模为静态/动态高斯各自的运动模型,并用运动感知网络合成虚拟模糊图与去模糊网络结果协同监督,可直接迁移到任何用高斯泼溅做动态场景重建时处理运动模糊输入的流程。
MAPo:面向高保真动态场景重建的可形变三维高斯泼溅运动感知分区
MAPo: Motion-Aware Partitioning of Deformable 3D Gaussian Splatting for High-Fidelity Dynamic Scene Reconstruction
把形变网络按运动强度做时序递归分区、为每段复制形变网络,并配跨帧一致性损失,可直接迁移到任何基于形变场的动态 3DGS/NeRF 重建中,用来缓解高动态区域的模糊与细节丢失。
LumiMotion:利用场景动态改进高斯重光照
LumiMotion: Improving Gaussian Relighting with Scene Dynamics
把场景中的运动区域当作逆渲染的监督信号:同一表面在不同光照下的观测有助于解耦反照率与光照,这一思路可直接迁移到动态场景的重建、重光照与材质编辑;同时其静态/动态分离的形变约束与配套的合成基准,为评估动态环境下的逆渲染提供了可复用的设定。
分层 4D 旋转高斯泼溅:面向长动态场景的压缩表示
Layered 4D-Rotor Gaussian Splatting: A Compressed Representation for Long Dynamic Scenes
针对长动态场景的高斯泼溅重建,提出分层 4D 表示与量化压缩流程,使存储降低 22.3 倍并支持 500+ FPS 实时渲染,可直接用于需要长时序、低显存的三维动态重建任务。
LangField4D:为动态场景学习身份自适应且时空连续的 4D 语言场
LangField4D: Learning Identity-Adaptive and Spatio-Temporal Continuous 4D Language Fields for Dynamic Scenes
把 4D 高斯与连续三平面语义场结合,用可学习身份自适应特征解决运动场跨物体边界导致的语义振荡,可直接复用于动态场景的开放词表分割与跟踪。
GaussianFluent:面向混合材质动态场景的高斯仿真
GaussianFluent: Gaussian Simulation for Dynamic Scenes with Mixed Materials
把 3DGS 从静态外观表示扩展为可仿真的动态物体状态,用生成模型补全高斯体内部纹理、用 CD-MPM 驱动脆性断裂,为需要物理一致动态场景的渲染与交互(VR、机器人)提供可复用管线。
面向演化场景的高斯建图
Gaussian Mapping for Evolving Scenes
针对相机视野外场景长期演化(long-term dynamics)导致的观测陈旧问题,提出持续更新 3D 高斯表示并配合丢弃过期观测的关键帧管理机制,可直接复用于 SLAM/建图系统中处理场景变化与表示一致性维护。
GP-4DGS:基于变分高斯过程的单目视频概率 4D 高斯泼溅
GP-4DGS: Probabilistic 4D Gaussian Splatting from Monocular Video via Variational Gaussian Processes
把变分高斯过程与诱导点引入 4D 高斯泼溅的形变场建模,为单目动态重建提供可训练的不确定性输出与时序外推能力;做动态场景重建或需要判断运动歧义区域的工作可直接复用其时空核与变分推断方案。
Flow4DGS-SLAM:光流引导的四维高斯泼溅 SLAM
Flow4DGS-SLAM: Optical Flow-Guided 4D Gaussian Splatting SLAM
用相机自运动模型拟合光流来生成类别无关的运动掩码,从而分离静态与动态高斯,并顺带给出光流引导的相机位姿初始化;这套「光流分解 + 掩码」的做法可直接迁移到任何需要区分动静区域的动态 NeRF/3DGS 重建或动态 SLAM 前端。
Flow3r:面向可扩展视觉几何学习的因子化光流预测
Flow3r: Factored Flow Prediction for Scalable Visual Geometry Learning
把稠密 2D 对应(flow)当作无标签监督信号,并用「几何 latent × 位姿 latent」的因子化光流预测来同时驱动场景几何与相机运动的学习,可直接迁移到现有前馈式 3D/4D 重建架构上,用于在无标注单目视频上扩展训练。
FastGS:100 秒内训练 3D 高斯泼溅
FastGS: Training 3D Gaussian Splatting in 100 Seconds
提出基于多视图一致性的高斯致密化与剪枝策略,无需预算机制即可在训练中动态调控高斯数量,可迁移到动态场景重建、表面重建、稀疏视图重建等任务中加速训练。
FastEventDGS:面向单事件相机快速动态场景的可变形高斯泼溅
FastEventDGS: Deformable Gaussian Splatting for Fast Dynamic Scenes from a Single Event Camera
仅用单目事件相机即可完成动态场景的4D重建,其连续相机轨迹参数化与局部图像块事件运动损失可迁移到其他基于事件或稀疏输入的动态高斯泼溅工作中,用于抑制过拟合并提供几何约束。
Ego-1K:面向第一人称视觉的大规模多视角视频数据集
Ego-1K - A Large-Scale Multiview Video Dataset for Egocentric Vision
为第一人称多视角动态场景重建与4D新视角合成提供了一个时间同步、带标定的评测平台,其近距离动态物体与大视差设定可直接用于检验现有4D新视角合成方法在剧烈视差与自运动下的失效模式。
D4RT:高效重建动态场景
Efficiently Reconstructing Dynamic Scenes One D4RT at a Time
用统一 Transformer 解码接口从视频中按任意时空点查询 3D 位置,绕开逐帧稠密解码,为动态 4D 重建提供了一种轻量、可扩展的前馈范式,可直接借鉴到新视角合成与点追踪任务。
基于脉冲神经元的动态场景动静分解新视角合成
Dynamic-Static Decomposition for Novel View Synthesis of Dynamic Scenes with Spiking Neurons
用脉冲神经元构建时空细粒度掩码场与不连续动静标签场,替代不准确的掩码先验来分配动态/静态高斯基元,可直接迁移到任何基于高斯泼溅的动态场景重建管线中以改善运动边界与侧视角渲染。
DGGT:使用无位姿图像对动态驾驶场景进行前馈4D重建
DGGT: Feedforward 4D Reconstruction of Dynamic Driving Scenes using Unposed Images
将相机位姿作为模型输出而非输入,用前馈网络从稀疏无位姿图像直接预测逐帧3D高斯图和相机参数,并引入动态头与寿命头解耦动态、保持时序一致性,为自动驾驶场景的快速4D重建与重仿真提供了可复用的无位姿前馈范式。
D-Prism:面向结构化动态建模的可微图元
D-Prism: Differentiable Primitives for Structured Dynamic Modeling
把 3DGS 绑定到可微图元表面并用变形网络驱动图元运动,为动态物体重建提供了「结构化几何 + 精确运动」的可复用范式;自适应图元数量控制策略可直接迁移到其他基于图元的场景表示中。
一致实例场:面向动态场景理解
Consistent Instance Field for Dynamic Scene Understanding
将实例身份与可见性解耦,用可变形3D高斯联合编码辐射与语义,并通过可微光栅化从RGB和掩码直接学习,为动态场景的新视角全景分割和开放词表4D查询提供了连续概率表示方案。
Complet4R:几何完整的四维重建
Complet4R: Geometric Complete 4D Reconstruction
用 decoder-only Transformer 在整段视频上做全局注意力,把其他帧可见的遮挡区域直接累积到当前帧,从而在单次前向中同时完成动态场景重建与几何补全;这一「重建即补全」的范式可迁移到动态 NeRF/高斯泼溅的遮挡补全与长时序点跟踪。
ClipGStream:面向任意长度与任意运动多视角动态场景重建的片段流高斯泼溅
ClipGStream: Clip-Stream Gaussian Splatting for Any Length and Any Motion Multi-View Dynamic Scene Reconstruction
把动态高斯泼溅的优化粒度从帧级提升到片段级,用片段独立的时空场加残差锚框补偿建模局部运动,并通过跨片段继承锚框与解码器保持长序列一致性——这套「Clip-Stream」思路可直接迁移到长视频新视角合成与流式动态重建,兼顾显存与闪烁抑制。
AeroGS:面向无位姿动态无人机场景重建的尺度感知高斯泼溅
AeroGS: Scale-Aware Gaussian Splatting for Pose-Free Dynamic UAV Scene Reconstruction
把相机位姿与动态场景联合优化拆成自运动/物体运动、静态几何/时序形变、远近尺度三层解耦,并用尺度感知的时空锚点承载,可直接迁移到无位姿单目视频的动态高斯泼溅重建与轨迹估计。
AeroDGS:面向单序列航拍4D重建的物理一致动态高斯泼溅
AeroDGS: Physically Consistent Dynamic Gaussian Splatting for Single-Sequence Aerial 4D Reconstruction
把可微的地面支撑、直立稳定与轨迹平滑先验注入 4D 高斯泼溅优化,为单目无人机视频中深度歧义与运动估计不稳的问题提供了可复用的物理约束思路;其单目几何提升模块也可迁移到其他单序列动态重建设定。
4DSurf:高保真动态场景表面重建
4DSurf: High-Fidelity Dynamic Scene Surface Reconstruction
将高斯泼溅与符号距离函数流正则化结合,通过约束高斯运动对齐演化表面,为动态场景表面重建提供可复用技术;重叠分段策略可推广到其他大变形时序重建任务。
4D Primitive-Mache:粘合基元实现持久4D场景重建
4D Primitive-Mache: Glueing Primitives for Persistent 4D Scene Reconstruction
把场景分解为一组随时间运动的刚性3D基元,并用稠密2D对应关系联合优化其刚体运动,为单目动态视频提供可回放的持久4D重建;其「基元+运动外推」思路可直接迁移到动态NeRF/高斯泼溅的时序一致性与遮挡补全问题。
4C4D:四相机四维高斯泼溅
4C4D: 4 Camera 4D Gaussian Splatting
针对稀疏视角下 4D 高斯泼溅几何建模弱于外观建模的失衡问题,提出对高斯不透明度施加神经衰减函数,把梯度引导到几何学习上;做稀疏多视角动态重建或 4DGS 时可直接复用这一正则化思路。