Tag · 10 篇
时空一致性
WorldReel:具有一致几何与运动建模的 4D 视频生成
WorldReel: 4D Video Generation with Consistent Geometry and Motion Modeling
把点图、相机轨迹和稠密光流作为显式 4D 表示与 RGB 帧联合生成,为视频生成提供了一条用几何监督约束时空一致性的可复用路线;做视频扩散或世界模型的研究者可以直接借鉴其 4D 监督信号构造与合成/真实数据混合训练策略。
VSRELL:低光照环境下视频超分辨率与增强的简单基线
VSRELL: A Simple Baseline for Video Super-Resolution and Enhancement in Low-Light Environment
把低光照增强与视频超分耦合进一个联合框架,用光照-噪声协同优化网络和光照敏感特征传播机制同时处理亮度校正与跨帧噪声累积,对做低层复原的人提供了一个可复用的『多退化解耦+时序特征门控』设计范式。
走向持续性:学习拓扑约束用于基于事件的小目标检测
Towards Persistence: Learning Topological Constraints for Event-based Small Object Detection
针对事件相机数据中的小目标检测,提出拓扑学习模块和空间一致性模块来约束时空轨迹的连续性,并设计拓扑感知损失函数,为事件流上的目标检测与轨迹完整性提供了可复用的建模思路。
SparseCam4D:基于稀疏相机的时空一致 4D 重建
SparseCam4D: Spatio-Temporally Consistent 4D Reconstruction from Sparse Cameras
用生成模型提供的多视角/多帧观测替代密集相机阵列,并通过时空畸变场统一建模生成观测在空间与时间上的不一致性,为稀疏、无标定输入下的动态 4D 重建提供了可复用的「生成观测去噪」思路。
RecEdit-Drive:面向自动驾驶场景的3D重建引导时空视频编辑
RecEdit-Drive: 3D Reconstruction-Guided Spatiotemporal Video Editing for Autonomous Driving Scenes
利用3D重建得到的背景结构作为扩散去噪早期的参考,并通过空间特征变形约束动态前景物体的编辑,为视频编辑中保持动态3D对象时空一致性提供了可复用的思路。
Pantheon360:通过3D感知360度视频扩散驯服数字孪生生成
Pantheon360: Taming Digital Twin Generation via 3D-Aware 360deg Video Diffusion
利用360度全景视频生成和显式3D缓存作为几何脚手架,实现可控相机路径下的高保真、几何一致的场景生成,为数字孪生和仿真提供新思路。
MakeAnything:利用扩散 Transformer 进行多领域过程序列生成
MakeAnything: Harnessing Diffusion Transformers for Multi-Domain Procedural Sequence Generation
提出非对称 LoRA 微调策略(冻结编码器、自适应调整解码器)以平衡泛化与任务性能,可复用于其他基于 DiT 的生成任务;同时利用时空一致性约束实现从静态图像生成过程序列,为视觉生成中的时序建模提供思路。
MORE-STEM:面向查询驱动3D/4D点云分割的长短期记忆召回与时空一致性模型
MORE-STEM: Long-Short MemOry REcall and Spatio-TEmporal Consistency Model for Query-Driven 3D/4D Point Cloud Segmentation
面向动态点云的查询驱动分割,其跨帧文本-视觉对齐与时空一致性约束可直接迁移到4D点云序列的开放词表/指令分割任务,长短期记忆模块为跨场景推理提供可复用的分层记忆设计。
Dynamic-eDiTor:基于多模态扩散 Transformer 的免训练文本驱动 4D 场景编辑
Dynamic-eDiTor: Training-Free Text-Driven 4D Scene Editing with Multimodal Diffusion Transformer
把 MM-DiT 的注意力改造成时空子网格注意力并配合词元继承与光流引导的词元替换,可在不训练的情况下把 2D 编辑能力迁移到多视角视频,直接优化已有 4DGS;这套「免训练 + 词元传播」思路可复用到任何需要跨视角/跨帧一致性的扩散编辑任务。
生成之前先对齐图像
Align Images Before You Generate
CorrAdapter 用扩散模型中间特征自建跨图像对应关系,并通过旁路分支只聚合匹配区域的信息,为多视图/视频扩散提供了一种免训练、与基线无关的时空一致性增强手段,可直接插入现有 transformer 主干。