Tag · 17 篇
潜扩散模型
ViLearn：通过可见性学习加速图像到三维生成的训练收敛
ViLearn: Accelerating Training Convergence of Image-to-3D Generation via Visibility Learning
将 VecSet 词元按可见性分组并设计可见性感知位置编码，为单图三维生成中的扩散模型注入结构先验，可显著加速收敛；该思路可迁移到其他基于无序集合表示的三维生成或重建任务。
UniPart：基于统一三维几何-分割潜变量的部件级三维生成
UniPart: Part-Level 3D Generation with Unified 3D Geom-Seg Latents
Geom-Seg VecSet 把物体几何与部件级结构编码进统一的潜变量表示，使部件感知在整体几何学习过程中自然涌现，从而无需依赖外部强分割器；做三维生成或部件编辑的工作可以直接复用这一潜变量表示与两阶段潜扩散流程。
StableMTL：改造潜扩散模型以从部分标注的合成数据集进行多任务学习
StableMTL: Repurposing Latent Diffusion Models for Multi-Task Learning from Partially Annotated Synthetic Datasets
把预训练潜扩散模型改造成多任务密集预测的潜回归器，用统一潜损失替代逐任务损失、用任务注意力把 N-to-N 交互降为 N-to-one，为视觉研究者提供了一条免调损失权重、可随任务数扩展的多任务训练范式。
语义先行：用异步潜扩散协调语义与纹理建模
Semantics Lead the Way: Harmonizing Semantic and Texture Modeling with Asynchronous Latent Diffusion
把预训练视觉编码器的语义潜变量与 VAE 纹理潜变量拼接，并用带时间偏移的两套噪声调度异步去噪，让语义先于纹理成形；这一「语义先行」的调度可直接嵌入现有 DiT/LDM 训练流程，用于加速收敛并提升 FID。
ScenDi：用于城市生成的三维到二维场景扩散级联
ScenDi: 3D-to-2D Scene Diffusion Cascades for Urban Generation
把 3D 潜扩散生成的高斯场景渲染成低分辨率图像，再作为条件喂给 2D 视频扩散做细节增强，这条「3D 粗生成 + 2D 精修」级联思路可直接迁移到需要相机可控性的街景/驾驶场景合成与仿真数据扩增。
PrITTI：基于基元的可控可编辑三维语义城市场景生成
PrITTI: Primitive-based Generation of Controllable and Editable 3D Semantic Urban Scenes
用向量化物体基元加栅格化地面构成混合表示，替代体素作为三维语义场景的生成载体，使潜扩散模型能在结构化潜空间里做物体级与地面级编辑；做三维场景生成或编辑时可借鉴这种「基元+地面」的紧凑表示与对应的 inpainting/outpainting 流程。
Nestwork：基于潜变量异构图扩散的条件式三维带家具住宅布局生成
Nestwork: Conditional 3D Furnished House Layout Generation through Latent Heterogeneous Graph Diffusion
把整栋房子的房间与家具建成带类型节点和多种空间关系的异构图，用单一异构图注意力自编码器压到紧凑潜空间、再在其上做扩散去噪，这种「图→潜变量→扩散」的范式可直接迁移到场景图驱动的 3D 室内合成与布局补全；随机掩码训练让同一模型支持从仅拓扑到全标注的多种条件强度，对需要灵活用户控制的生成任务很有参考价值。
Mesh4D：从单目视频重建与跟踪四维网格
Mesh4D: 4D Mesh Reconstruction and Tracking from Monocular Video
用自编码器把整段动画压进一个紧凑潜空间、再用潜扩散模型一次性预测完整形变场，这种「序列级潜表示 + 一次性生成」的范式可迁移到动态人体/手部/物体的单目四维重建与新视角合成；训练时用骨骼先验约束形变、推理时不需要骨骼，也提供了一个把结构化先验蒸馏进潜空间的可复用思路。
LogCD：面向少步图像生成的局部到全局一致性蒸馏
LogCD: Local-to-global Consistency Distillation for Few-step Image Generation
两阶段局部到全局一致性蒸馏把 SDXL 这类潜扩散/整流流模型压到 2–4 步采样，且单模型可在步数间无缝切换，可直接复用到任何需要少步高保真生成的视觉管线（如实时文生图、编辑前置生成器）。
LacTokGen：用 256 个词元生成 1024 像素图像的潜一致性分词器
LacTokGen: Latent Consistency Tokenizer for 1024-pixel Image Generation by 256 Tokens
LacTok 将离散视觉词元与预训练潜扩散模型的紧凑潜空间桥接，用 256 个词元表示 1024×1024 图像，为高分辨率自回归图像生成提供了一种高效的分词方案；其潜一致性解码器将多步采样压缩至 1-2 步，可直接用于像素级监督，这一思路可迁移到其他需要高效解码的生成任务中。
以你的方式融合：通过直接偏好优化使图像融合对齐异构需求
Fusion in Your Way: Aligning Image Fusion with Heterogeneous Demands via Direct Preference Optimization
把 DPO 引入潜扩散模型的采样过程，用偏好信号直接控制生成结果的属性，为视觉中「同一输入需输出多种风格/质量取向结果」的可控生成提供了一套可复用的偏好对齐训练范式。
Elastic3D：基于引导式潜变量解码的可控立体视频转换
Elastic3D: Controllable Stereo Video Conversion with Guided Latent Decoding
用条件潜扩散直接生成右视图、绕开显式深度估计与 warping，并设计引导式 VAE 解码器保证锐利与极线一致；其标量视差调节旋钮为立体/新视角生成提供了推理期可控性的可复用范式。
CoordSpeaker：利用手势描述实现协调描述赋能的多语音手势生成
CoordSpeaker: Exploiting Gesture Captioning for Coordinated Caption-Empowered Co-Speech Gesture Generation
提出基于运动-语言模型的手势描述生成框架，为扩散模型提供细粒度语义条件；其统一跨数据集运动表示与分层控制去噪器可复用于其他条件运动生成任务。
CG-Floor：质心引导扩散的大规模平面图生成
CG-Floor: Centroid-Guided Diffusion for Large-Scale Floorplan Generation
用质心热图作为结构化条件引导潜扩散 Transformer 生成非曼哈顿房间形状，这种「语义质心+尺寸热图」的条件编码方式可迁移到室内场景布局、矢量图形生成等需要显式解耦位置与形状的任务。
BuildAnyPoint：从多样点云中抽象结构化三维建筑
BuildAnyPoint: 3D Building Structured Abstraction from Diverse Point Clouds
把「点云分布恢复」当作条件潜扩散任务、再用 decoder-only Transformer 自回归生成紧凑网格的两阶段级联思路，可直接迁移到稀疏/噪声点云驱动的结构化三维生成与补全；其恢复出的点云还能作为点云补全的中间表示来提升表面精度与分布均匀性。
Anatomica：面向解剖扩散模型的几何与拓扑性质局部化控制
Anatomica: Localized Control over Geometric and Topological Properties for Anatomical Diffusion Models
提供一种推理时、基于长方体控制域的可微惩罚引导机制，可把几何（矩）与拓扑（持续同调）约束组合施加到扩散采样过程；对做可控生成、结构约束采样或医学形状合成的研究者，这是一个可直接迁移到潜扩散模型上的约束注入范式。
面向AI生成图像免训练检测的去偏重建框架
A Debiased Reconstruction-based Framework for Training-Free Detection of AI-Generated Images
对做视觉研究的人，这篇论文提供了一个可直接复用的免训练检测信号：用旋转与低通滤波增强来归一化LDM的图像级重建误差，抵消背景偏置；同时把潜变量级重建误差经旋转归一化后作为补充信号，二者统一为RDD分数，可在无检测训练数据时跨多种生成模型使用。