Tag · 9 篇
多视角一致性
WorldStereo:通过三维几何记忆连接相机引导视频生成与场景重建
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
把增量更新的点云作为全局几何记忆、用3D对应关系约束注意力感受野,为相机可控视频扩散提供了一种可复用的几何条件注入方式;同时其蒸馏骨干网络免联合训练的轻量控制分支设计,对做可控生成与少步采样的人有直接参考价值。
借助三维基础先验实现真实且一致的环绕视角视频生成
Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors
把 3D 基础生成模型的潜变量特征(全局潜向量 + 体特征投影的潜图像)通过多尺度 3D 适配器以跨注意力注入视频扩散模型,为长程视角外推(如背面合成)提供完整形状约束,避免显式网格提取;这套「3D 先验条件化视频生成」的接口设计可直接迁移到新视角合成与环绕视角视频生成任务。
SABER:面向鸟瞰图检测器的空间一致三维通用对抗物体
SABER: Spatially Consistent 3D Universal Adversarial Objects for BEV Detectors
提出一种非侵入式、环境植入式的通用对抗物体生成流程,并用鸟瞰图空间特征引导优化攻击检测器内部表征;做BEV检测鲁棒性评测或多视角/时序一致对抗样本构造时可直接复用其遮挡感知渲染与特征引导优化思路。
全光视频生成
Plenoptic Video Generation
把「多进单出」的视频条件模型以自回归方式串起来,并用相机引导的视频检索从历史生成中挑显著帧做条件,这套「时空记忆+检索式条件」可直接迁移到任何需要跨视角/跨时序一致性的生成式重渲染或长视频生成任务。
面向多样化文本到3D生成的多模态语义偏差缓解
Multimodal Semantic Bias Mitigation for Diverse Text-To-3D Generation
针对文本到3D大模型对提示词格式敏感、难以理解复杂提示词的问题,提出用质量评价模型定位跨模态偏差、以质量分数量化提示词文本对偏差的贡献,并构造成对样本重建无偏的视觉-文本连接;做文本到3D或扩散先验的人可借鉴这套偏差定位与成对偏好式微调流程。
LaRP:基于潜在重投影先验的高效多视角图像修复
LaRP: Efficient Multi-View Inpainting with Latent Reprojection Priors
利用3D基础模型提供的显式跨视角对应关系作为扩散修复模型的条件,实现高效且3D一致的多视角图像修复,可复用于需要多视角一致性的生成任务。
GenieDrive:面向物理感知驾驶世界模型的4D占用引导视频生成
GenieDrive: Towards Physics-Aware Driving World Model with 4D Occupancy Guided Video Generation
将4D占用作为物理先验引导视频扩散生成,并设计潜变量三平面VAE压缩高分辨率占用,为自动驾驶世界模型提供可复用的物理感知生成框架。
ConsID-Gen:视角一致且身份保持的图像到视频生成
ConsID-Gen: View-Consistent and Identity-Preserving Image-to-Video Generation
用无位姿辅助视角增强首帧、经双流视觉-几何编码器与文本-视觉连接器融合语义与结构线索,为 Diffusion Transformer 提供统一条件,可直接借鉴到任何需要多视角一致性的条件视频生成任务中。
实时变化:基于多视角融合的在线场景变化检测
Changes in Real Time: Online Scene Change Detection with Multi-View Fusion
将 3D 高斯泼溅作为在线场景表示,配合 PnP 快速位姿估计与变化引导的增量更新,为视觉研究者提供了一套可复用的「在线、位姿无关、多视角一致」的 3D 场景变化检测框架,可直接迁移到机器人探索、AR 与长期建图等需要实时更新的任务。