Tag · 22 篇
变分自编码器
WeMMU：通过噪声查询令牌增强视觉语言模型与扩散模型的桥接
WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens
用带噪声的可学习查询令牌作为 VLM 与扩散模型之间的分布式接口，并配一条 VAE 线性投影支路补回细节，可直接用于构建视觉生成式多模态助手，缓解固定查询令牌在跨任务时的泛化崩溃。
视觉基础模型可以成为潜扩散模型的优秀分词器
Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models
把冻结的视觉基础模型（如 DINO 类语义特征）直接当作潜扩散模型的分词器，并配一个从语义特征重建真实图像的解码器，可显著加快扩散训练收敛；做 LDM 的人可以据此替换 VAE 分词器，做表征学习的人可借鉴其双侧对齐训练策略。
通过可平移 RGB-A 分布学习器生成稳定透明度的视频
Video Generation with Stable Transparency via Shiftable RGB-A Distribution Learner
通过可平移的 RGB-A 分布学习，在 VAE 训练中引入透明度感知的双向扩散损失，并在噪声空间平移采样均值与高斯椭圆掩码，为透明视频生成提供稳定且可控的扩散采样策略。
VENI：用于自然光照的变分编码器
VENI: Variational Encoder for Natural Illumination
提供了一种在球面上直接建模光照环境的旋转等变变分自编码器，其 SO(2)-等变全连接层和 VN-ViT 编码器可复用于任何需要球面信号（如环境贴图、全景图）等变表征的视觉任务，并给出了更平滑的潜空间插值方案。
时间感知单步扩散网络用于真实世界图像超分辨率
Time-Aware One Step Diffusion Network for Real-World Image Super-Resolution
提出时间感知的VAE编码器和时间感知VSD损失，使单步扩散超分能根据时间步动态调整潜变量特征，从而更充分利用预训练SD在不同时间步的生成先验，并实现保真度与真实感的可控权衡。
用方差扩张损失驯服潜扩散模型中的采样扰动
Taming Sampling Perturbations with Variance Expansion Loss for Latent Diffusion Models
针对潜空间扩散模型的 tokenizer 训练环节，提出方差扩张损失来抑制 b-VAE 潜空间的方差坍缩，使潜流形对扩散采样中的随机扰动更鲁棒；做 LDM/DiT 类生成时可直接替换或叠加到 VAE 微调目标中，无需改动扩散主干。
TUNA：为原生统一多模态模型驯服统一视觉表征
TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models
把 VAE 编码器与预训练表征编码器级联成统一连续视觉空间，让理解与生成共享同一表征，视觉研究者可直接复用该表征设计来消除理解/生成双编码器的格式错配，并借鉴其「表征编码器越强则全任务越好」的结论选型骨干。
SpeeDiff：可扩展的像素锚定端到端潜扩散模型
SpeeDiff: Scalable Pixel-Anchored End-to-End Latent Diffusion Model
把扩散损失梯度直接回传到 VAE 编码器做端到端联合训练，并用 Tweedie 公式从中间噪声态解码预测的干净潜变量来加像素级重建约束，避免潜空间坍缩；做视觉生成的人可以借此替换掉「预训练冻结 VAE + 两阶段」的常规流程，显著缩短训练时间并复用其 32x 压缩 VAE 与 Transformer 联合缩放策略。
SRA 2：面向高效扩散训练的变分自编码器自表征对齐
SRA 2: Variational Autoencoder Self-Representation Alignment for Efficient Diffusion Training
利用预训练 VAE 的重建特征作为内在监督信号，通过轻量投影层对齐扩散 Transformer 的中间潜变量，无需外部编码器即可加速训练收敛，为扩散模型训练提供了一种低成本的正则化手段。
推理调色板：通过潜变量情境化为（视觉）语言模型的可控探索调制推理
Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs
为视觉语言模型提供一种在生成前对推理策略做潜变量采样的机制：从问答对均值池化嵌入经 VAE 采样潜变量，解码为可学习词元前缀拼接到提示前，可在 RL 训练中按需注入不同推理模式以提升探索多样性，可直接迁移到多模态推理与 RLHF 流程。
PhysGen：面向工业设计的物理落地三维形状生成
PhysGen: Physically Grounded 3D Shape Generation for Industrial Design
把物理属性（如气动效率）作为显式引导信号注入流匹配采样过程，通过速度更新与物理精修的交替迭代在潜空间中调整形状；做 3D 生成且关心下游功能约束的工作可复用这一「生成器+物理正则+联合潜空间编码」的范式。
NeuroFlow：迈向神经活动驱动的统一视觉编码与解码
NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity
将视觉编码与解码统一为共享潜空间中的可逆流匹配过程，为视觉-神经跨模态生成提供新范式；其跨模态流匹配（XFM）可复用于图像与脑信号间的双向转换，NeuroVAE 的结构化潜空间设计对视觉表征学习有借鉴意义。
面向过离散潜变量建模的负二项变分自编码器
Negative Binomial Variational Autoencoders for Overdispersed Latent Modeling
为VAE类生成模型提供了一种带离散计数潜变量的替代方案：用负二项分布刻画过离散的脉冲式潜变量，并给出可用的KL估计与重参数化技巧，可直接替换Poisson VAE的等均值-方差假设，用于需要稀疏、离散潜表征的视觉重建与生成任务。
MotionCrafter：基于 4D 变分自编码器的稠密几何与运动重建
MotionCrafter: Dense Geometry and Motion Reconstruction with a 4D VAE
把稠密 3D 点图与 3D 场景流放进同一坐标系联合表示，并训练专用 4D VAE 来承载扩散先验，可直接复用到单目视频的 4D 重建与稠密运动估计；其「不必强行对齐 RGB VAE 潜空间、改用数据归一化与训练策略」的结论，对任何想把视频生成先验迁移到几何/运动回归任务的工作都是可借鉴的设计经验。
MeshFlow：基于 MeshVAE 与流式扩散 Transformer 的高效艺术网格生成
MeshFlow: Efficient Artistic Mesh Generation via MeshVAE and Flow-based Diffusion Transformer
用带对比损失的 VAE 把连续顶点坐标与离散连接关系压进一个紧凑的连续潜空间，再用 Rectified-Flow Transformer 并行生成全部顶点与边，为三维网格生成提供了可替代自回归 token 预测的潜空间+流匹配范式。
LoG3D：通过局部到全局分块实现超高分辨率三维形状建模
LoG3D: Ultra-High-Resolution 3D Shape Modeling via Local-to-Global Partitioning
把 UDF 体数据切成均匀子块（UBlocks），用 3D 卷积抓局部细节、稀疏 Transformer 建全局一致性，再配合 Pad-Average 消除块边界接缝——这套局部到全局的分块策略可直接迁移到高分辨率 NeRF/高斯泼溅体素表示或任意大尺度隐式场的建模与生成。
学习直线流：面向高效生成的变分流匹配
Learning Straight Flows: Variational Flow Matching for Efficient Generation
把变分潜变量作为「生成全局概览」注入流匹配，显式约束轨迹笔直，为视觉生成模型提供可复用的一步采样训练范式，可直接替换扩散/流匹配的采样器设计。
Lafite：面向三维原生纹理生成的生成式潜变量场
Lafite: A Generative Latent Field for 3D Native Texturing
把表面外观编码成稀疏结构化潜变量颜色场、与网格拓扑和 UV 参数化解耦，这一表示可直接复用于三维资产纹理生成、编辑与材质合成；其条件整流流采样范式也可迁移到其他三维场生成任务。
InstantViR：基于蒸馏扩散先验的实时视频逆问题求解器
InstantViR: Real-Time Video Inverse Problem Solver with Distilled Diffusion Prior
把双向视频扩散教师蒸馏成因果自回归学生，单次前向即可完成视频修复，无需测试时迭代优化；这套「先验驱动蒸馏 + 轻量变分自编码器」的范式可直接迁移到其他需要实时推理的扩散先验逆问题求解器。
面向解耦文本驱动运动生成的语义先验分层增强
Hierarchical Enhancement of Semantic Priors for Disentangled Text-Driven Motion Generation
把潜空间结构化为多个语义一致子流形（AG-VAE）的思路，可直接迁移到视觉扩散模型的潜空间解耦与可控生成；分层跨模态注意力与动态记忆融合也可用于文本到图像/视频的条件注入设计。
面向全切片图像分类中特征稀缺问题的双层超图生成方法
Dual-Level Hypergraph Generation for Addressing Feature Scarcity in Whole-Slide Image Classification
针对全切片图像中少数类特征稀缺问题，提出超图层级的提示引导分层超图变分自编码器生成拓扑一致的超图表示，以及超节点层级的锚框扩散 mixup 增强高注意力锚节点特征，可迁移到其他存在类内/类间稀缺的病理或细粒度分类任务。
基于功能连接矩阵生成式回放的fMRI脑部疾病诊断持续学习框架
Continual Learning for fMRI-Based Brain Disorder Diagnosis via Functional Connectivity Matrices Generative Replay
提出结构感知变分自编码器生成逼真的功能连接矩阵，并结合多级知识蒸馏与分层上下文赌博机自适应回放采样，为视觉领域处理非欧几里得图结构数据的持续学习提供可复用方案。