Tag · 7 篇

潜空间扩散

Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models

把冻结的视觉基础模型（如 DINO 类语义特征）直接当作潜扩散模型的分词器，并配一个从语义特征重建真实图像的解码器，可显著加快扩散训练收敛；做 LDM 的人可以据此替换 VAE 分词器，做表征学习的人可借鉴其双侧对齐训练策略。

Toward Diffusible High-Dimensional Latent Spaces: A Frequency Perspective

揭示了高维潜空间中编码器对高频成分欠表达、解码器却强依赖高频潜变量恢复细节的错配，并给出一个无需重训自编码器、可插拔的频率预热课程，可直接套用到任意潜空间扩散/流匹配训练流程中以提升生成质量。

Taming Sampling Perturbations with Variance Expansion Loss for Latent Diffusion Models

针对潜空间扩散模型的 tokenizer 训练环节，提出方差扩张损失来抑制 b-VAE 潜空间的方差坍缩，使潜流形对扩散采样中的随机扰动更鲁棒；做 LDM/DiT 类生成时可直接替换或叠加到 VAE 微调目标中，无需改动扩散主干。

ShapeAR: Generating Editable Shape Layers via Autoregressive Diffusion

把光栅图像分解为可编辑的 RGBA 矢量形状层，并用自回归流匹配扩散在潜空间中逐步生成，为图像矢量化与分层编辑提供了一条不依赖边界追踪的新路径；其几何感知评测指标也可复用于形状生成质量评估。

MoLingo: Motion-Language Alignment for Text-to-Human Motion Generation

提出用帧级文本标签训练语义对齐的运动编码器，使潜空间更利于扩散；并验证多token交叉注意力注入文本条件优于单token，可迁移到其他条件生成任务（如文本到图像/视频）的潜空间设计与条件注入。

MatLat: Material Latent Space for PBR Texture Generation

把预训练潜空间图像扩散模型迁移到多通道 PBR 材质生成时，关键是在 VAE 微调阶段保持潜变量分布与像素-潜变量空间对应关系；其「裁剪潜块解码并对齐图像区域」的正则化思路可直接复用于任何需要扩展通道数或保持潜空间局部性的生成任务。

Efficient and Training-Free Single-Image Diffusion Models

提出一种无需训练的扩散模型，利用单张图像的多尺度图像块数据集和闭式最优去噪器计算得分函数，可复用于图像生成、风格化、对称化等任务，并支持潜空间扩散和加速技术实现快速高分辨率生成。