Tag · 6 篇
潜变量扩散模型
gQIR:生成式量子图像重建
gQIR: Generative Quanta Image Reconstruction
把大规模文生图潜变量扩散模型迁移到极端光子受限的 SPAD 突发帧重建,用扩散先验同时完成对齐、去噪与彩色去马赛克;做低光照/短曝光复原的人可直接复用其潜空间复原+突发级时空推理的框架。
通过神经场适配进行权重空间表征学习
Weight Space Representation Learning via Neural Field Adaptation
把预训练神经场的乘性低秩适配权重本身当作图像/3D 场景的表征,可直接接入潜变量扩散模型做生成,为视觉研究提供了一条绕开像素或特征编码器的「权重即表征」路线,可用于少样本重建与权重空间编辑。
StableMaterials:通过半监督学习增强材质生成的多样性
StableMaterials: Enhancing Diversity in Material Generation via Semi-Supervised Learning
把 SDXL 的对抗式蒸馏用于潜扩散模型,可在无标注条件下扩展生成分布,这一思路可迁移到其他数据稀缺的生成任务(如特定风格纹理、领域受限图像);其四步潜一致性蒸馏加去伪影的 tileable 采样技巧,对需要快速、无缝生成的视觉应用有直接参考价值。
Sketch2CT:面向结构感知三维医学体数据生成的多模态扩散模型
Sketch2CT: Multimodal Diffusion for Structure-Aware 3D Medical Volume Generation
把「2D 草图 + 文本」作为多模态条件,先由噪声生成 3D 器官分割掩码、再以其引导潜变量扩散模型合成 3D CT 体数据,这套「先结构后外观」的两阶段条件生成流程可直接迁移到其他需要解剖结构约束的医学体数据合成与数据增广任务。
MUST:面向缺失模态扩散增强生存预测的模态特异表征感知 Transformer
MUST: Modality-Specific Representation-Aware Transformer for Diffusion-Enhanced Survival Prediction with Missing Modality
把每个模态的表征显式拆成模态特异分量与跨模态上下文分量,再用条件潜变量扩散模型补全缺失模态的特异信息——这套「分解+条件生成补全」思路可直接迁移到视觉多模态任务(如RGB-深度、图像-文本)中的模态缺失场景。
FoleyDesigner:面向电影片段的沉浸式立体声拟音生成与精确时空对齐
FoleyDesigner: Immersive Stereo Foley Generation with Precise Spatio-Temporal Alignment for Film Clips
论文将视频帧的时空线索作为条件输入潜变量扩散模型,实现与画面精确对齐的立体声拟音生成,其多智能体分析架构和时空条件注入方式可迁移到视频到音频生成、音视觉对齐等跨模态生成任务。