Tag · 31 篇
前馈重建
iSplat:面向细粒度高斯泼溅的迭代学习
iSplat: Iterative Learning for Fine-Grained Gaussian Splatting
把单次前馈高斯泼溅重建改成 3 次循环的 GRU 迭代优化器,配合基于不确定性的深度搜索空间收缩,可在不增加参数量的前提下显著提升跨数据集新视角合成的泛化;做前馈 3DGS 或深度先验融合的工作可直接借鉴该迭代精化范式。
统一图元代理用于结构化形状补全
Unified Primitive Proxies for Structured Shape Completion
将图元(primitive)解码从点云级联中解耦为独立通路,并用可学习查询(primitive proxies)一次性前馈输出几何、语义与内点归属,可直接迁移到点云补全、部件级重建与装配式表面重建流程。
UniSH:单次前馈中统一场景与人体重建
UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass
提出一种利用无标注真实视频的两阶段训练范式:先在合成数据上学习粗定位,再通过优化 SMPL 网格与人体点云的几何对应关系在真实数据上微调,并蒸馏专家深度模型的高频细节来提升人体表面质量。该思路可直接迁移到其他需要弥合 sim-to-real 差距的 3D 重建任务。
Uni3R:基于可泛化高斯泼溅的无位姿多视角图像统一三维重建与语义理解
Uni3R: Unified 3D Reconstruction and Semantic Understanding via Generalizable Gaussian Splatting from Unposed Multi-View Images
提出一种前馈式框架,直接从无位姿多视角图像联合重建带开放词表语义的 3D 高斯表示,可复用于需要同时进行新视角合成与开放词表 3D 语义分割的任务,避免逐场景优化。
UIKA:基于无位姿图像的快速通用头部化身
UIKA: Fast Universal Head Avatar from Pose-Free Images
用像素级人脸对应把任意视角、任意表情的输入重投影到与相机位姿和表情无关的 UV 空间,再在屏幕级与 UV 级联合做注意力,为无位姿输入的前馈可动画头部重建提供了可复用的表示与网络设计思路。
UFO:统一前馈与优化方法的大规模驾驶场景建模
UFO: Unifying Feed-Forward and Optimization-based Methods for Large Driving Scene Modeling
把前馈重建与逐场景优化统一成循环式 4D 场景 token 表示,并用可见性过滤把 3D 到像素对应的复杂度从二次降到近线性,可直接迁移到长序列动态场景重建与新视角合成。
TokenSplat:面向无位姿前馈重建的词元对齐三维高斯泼溅
TokenSplat: Token-aligned 3D Gaussian Splatting for Feed-forward Pose-free Reconstruction
把跨视角语义对应直接放在特征空间里做词元对齐,并用非对称双流解码器把相机词元与图像词元解耦,这套设计可迁移到任何需要从无位姿多视图前馈重建三维表示(高斯/NeRF/点云)的流程中,省去逐场景优化与迭代位姿精化。
TokenGS:用可学习词元将 3D 高斯预测与像素解耦
TokenGS: Decoupling 3D Gaussian Prediction from Pixels with Learnable Tokens
将 3D 高斯预测从像素网格解耦为可学习词元,使前馈 3DGS 重建不再受输入分辨率和视图数限制,并支持在词元空间进行测试时优化,为动态场景重建和场景流估计提供了新思路。
SketchFaceGS:基于高斯泼溅的实时草图驱动人脸编辑与生成
SketchFaceGS: Real-Time Sketch-Driven Face Editing and Generation with Gaussian Splatting
把 2D 草图作为稀疏、深度歧义的交互条件,用 Transformer 前馈预测 UV 特征图再细化成 3D 高斯头部,为「草图→三维表示」的单次前向生成与自由视角编辑提供了可复用的 UV 空间特征融合与掩码融合思路。
PhysGM:面向前馈 4D 合成的大型物理高斯模型
PhysGM: Large Physical Gaussian Model for Feed-Forward 4D Synthesis
把单图前馈预测 3D 高斯与物理参数(质量、杨氏模量等)耦合进同一网络,并用 DPO 替代 SDS 优化来对齐物理合理性,为动态 3DGS 生成提供了一条免逐场景优化、可即时仿真的路线。
多视图金字塔 Transformer:看得更粗,见得越广
Multi-view Pyramid Transformer: Look Coarser to See Broader
MVP 的局部到全局视图层级和细到粗空间层级为多视图 Transformer 提供了高效处理大量视图的通用架构,可直接用于前馈式三维重建与高斯泼溅初始化。
MoRe:运动感知的前馈 4D 重建 Transformer
MoRe: Motion-aware Feed-forward 4D Reconstruction Transformer
用 attention-forcing 与分组因果注意力把动态运动从静态结构中解耦,为单目视频下的前馈式动态重建提供了可复用的训练策略与注意力设计,可直接迁移到动态 NeRF/3DGS 的快速推理场景。
Mesh4D:从单目视频重建与跟踪四维网格
Mesh4D: 4D Mesh Reconstruction and Tracking from Monocular Video
用自编码器把整段动画压进一个紧凑潜空间、再用潜扩散模型一次性预测完整形变场,这种「序列级潜表示 + 一次性生成」的范式可迁移到动态人体/手部/物体的单目四维重建与新视角合成;训练时用骨骼先验约束形变、推理时不需要骨骼,也提供了一个把结构化先验蒸馏进潜空间的可复用思路。
MVInverse:秒级前馈多视图逆渲染
MVInverse: Feed-forward Multiview Inverse Rendering in Seconds
提出前馈多视图逆渲染框架,通过跨视图注意力实现单次前向预测空间变化的材质与法线,并利用无标签真实视频进行一致性微调,为多视图逆渲染提供了可扩展的实时方案。
LASER:面向免训练流式四维重建的逐层尺度对齐
LASER: Layer-wise Scale Alignment for Training-Free Streaming 4D Reconstruction
将离线前馈重建模型(如 VGGT、π³)转化为流式系统时,提出逐层尺度对齐替代全局 Sim(3) 对齐,解决单目尺度模糊导致的层间深度尺度不一致问题,可复用于任何需要跨时间窗口对齐深度预测的流式 3D 重建任务。
IDESplat:面向可泛化三维高斯泼溅的迭代深度概率估计
IDESplat: Iterative Depth Probability Estimation for Generalizable 3D Gaussian Splatting
提出迭代深度概率提升单元(DPBU),通过级联 warp 的极线注意力乘法融合来精化深度候选,可直接用于提升前馈式高斯泼溅的深度估计精度与泛化性。
HumanNOVA:从单张图像生成照片级真实、通用且快速的3D人体化身模型
HumanNOVA: Photorealistic, Universal and Rapid 3D Human Avatar Modeling from a Single Image
提出一种前馈式、以词元为条件的单图人体化身建模框架,利用跨注意力将图像与SMPL词元融合为三平面表示,无需测试时优化即可在1秒内生成逼真3D人体,为快速3D重建与可控生成提供可复用范式。
Gen3R:三维场景生成与前馈重建的结合
Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction
把 VGGT 这类前馈重建模型当作几何编码器,用适配器把其 token 对齐到视频扩散模型的外观潜空间,从而在同一个扩散过程里同时生成 RGB 视频与相机位姿、深度、点云;对做 3D 生成的人,这是一条「复用重建基础模型当几何先验」的现成路径,对做重建的人则提示可用生成先验提升鲁棒性。
GaussFusion:用几何感知视频生成器改进野外 3D 重建
GaussFusion: Improving 3D Reconstruction in the Wild with A Geometry-Informed Video Generator
把 3DGS 渲染出的深度/法线/不透明度/协方差缓冲当作条件输入,用视频到视频生成器做时序一致的后处理精修,可即插即用地接在优化式与前馈式重建管线之后,为消除浮点、闪烁与位姿误差伪影提供了一条通用思路。
GIFSplat:生成先验引导的迭代式前馈稀疏视角三维高斯泼溅
GIFSplat: Generative Prior-Guided Iterative Feed-Forward 3D Gaussian Splatting from Sparse Views
把「一次性前馈预测」改成少量前馈式残差迭代,并用冻结扩散先验蒸馏出高斯级线索,无需测试时梯度优化即可在稀疏无位姿视角下做场景自适应,可直接迁移到其他前馈式 3DGS/NeRF 管线以提升域外泛化与质量。
GGPT:几何锚定的点 Transformer
GGPT: Geometry-Grounded Point Transformer
把 SfM 得到的稀疏点云作为显式几何监督,去精修前馈网络输出的稠密点图,这个「稀疏几何引导稠密预测」的范式可以直接迁移到 VGGT、DUSt3R 类模型的几何一致性提升上。
从无到有:通过新视角合成的自监督三维重建
From None to All: Self-Supervised 3D Reconstruction via Novel View Synthesis
把相机参数预测与显式 3D 高斯重建放进同一个共享 Transformer 骨干网络、用掩码注意力约束,仅靠 2D 光度监督即可从未标定、无位姿的图像集合前馈重建,为无标注数据上的可扩展三维重建提供了可复用的自监督训练范式。
ForeHOI:从日常手物交互视频前馈重建三维物体
ForeHOI: Feed-forward 3D Object Reconstruction from Daily Hand-Object Interaction Videos
把 2D 掩码修复与 3D 形状补全放进同一个前馈框架联合预测,用 2D/3D 之间的信息交换解决手物严重遮挡下的物体重建,可迁移到任何被遮挡物体的单目重建与补全任务。
用于头部化身创建与编辑的前馈高斯配准
Feed-forward Gaussian Registration for Head Avatar Creation and Editing
用 transformer 在模板网格固定 UV 布局下前馈预测高斯泼溅纹理,并通过配准引导注意力让每个 UV 词元只关注其对应网格区域的图像词元,从而在 0.5 秒/帧内建立跨帧与跨主体的稠密对应;这套「UV 空间 + 对应性注意力」可直接复用到任何需要多视角一致纹理与免优化跟踪的人体/人脸建模流程。
前馈式单样本可驱动纹理网格化身重建
Feed-Forward One-Shot Animatable Textured Mesh Avatar Reconstruction
单图前馈直接输出带纹理贴图的可驱动网格头部,用共享 Transformer 骨干同时回归顶点与纹理图,并用基于重投影的纹理引导把外观锚定到输入图像;对做单图人体/头部重建、以及想把 test-time optimization 换成一次前馈的人,是可复用的架构与监督思路。
EmbodiedSplat:面向开放词表三维场景理解的在线前馈语义 3DGS
EmbodiedSplat: Online Feed-Forward Semantic 3DGS for Open-Vocabulary 3D Scene Understanding
把 CLIP 嵌入绑定到每个 3D 高斯上,并用 3D U-Net 聚合部分点云生成几何感知的 CLIP 特征,为在线开放词表 3D 语义重建提供了可复用的「2D 语言特征 + 3D 几何先验」融合方案。
D4RT:高效重建动态场景
Efficiently Reconstructing Dynamic Scenes One D4RT at a Time
用统一 Transformer 解码接口从视频中按任意时空点查询 3D 位置,绕开逐帧稠密解码,为动态 4D 重建提供了一种轻量、可扩展的前馈范式,可直接借鉴到新视角合成与点追踪任务。
使用通用三维先验的动态视觉SLAM
Dynamic Visual SLAM using a General 3D Prior
把前馈重建模型的深度预测与 patch-based 在线 bundle adjustment 对齐,用其尺度消歧能力解决动态场景下单目 SLAM 的位姿漂移,可作为动态环境下 SLAM 前端过滤与深度先验融合的可复用范式。
Diff4Splat:复用视频扩散模型进行动态场景生成
Diff4Splat: Repurposing Video Diffusion Models for Dynamic Scene Generation
把视频扩散模型的生成先验直接前馈映射为可变形3D高斯场,单次前向即可从单图+相机轨迹得到动态场景,省去逐场景优化,可作为动态新视角合成与4D内容生成的免优化骨干。
DGGT:使用无位姿图像对动态驾驶场景进行前馈4D重建
DGGT: Feedforward 4D Reconstruction of Dynamic Driving Scenes using Unposed Images
将相机位姿作为模型输出而非输入,用前馈网络从稀疏无位姿图像直接预测逐帧3D高斯图和相机参数,并引入动态头与寿命头解耦动态、保持时序一致性,为自动驾驶场景的快速4D重建与重仿真提供了可复用的无位姿前馈范式。
Any4D:统一前馈度量尺度 4D 重建
Any4D: Unified Feed-Forward Metric 4D Reconstruction
把 4D 场景拆成局部相机坐标下的自中心因子(深度、内参)与全局世界坐标下的他中心因子(外参、场景流)的模块化表示,使单一前馈 Transformer 能统一处理 N 帧稠密运动与几何预测,并可直接接入 RGB-D、IMU、Radar Doppler 等额外传感器;这套表示与多模态接口可复用到动态场景重建、新视角合成与机器人感知。