Tag · 3 篇
训练效率
分布 生成模型与扩散2视觉语言模型1
01 02 03
复兴 ConvNeXt：面向高效卷积扩散模型
Reviving ConvNeXt for Efficient Convolutional Diffusion Models
把 ConvNeXt 式的纯卷积骨干网络移植到条件扩散模型中，在 ImageNet 256/512 条件生成上以 DiT-XL/2 一半的浮点运算量达到相当性能，且训练步数少 7 倍以上；对做视觉生成的人而言，这是一条可直接替换 Transformer 骨干、显著降低训练成本的架构路线。
OpenVision 2：面向多模态学习的一族生成式预训练视觉编码器
OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning
去掉文本编码器和对比损失、仅用captioning loss训练视觉编码器，可作为一种更省显存和时间的视觉表征预训练方案，直接用于多模态大模型的视觉塔初始化。
以扩散 Transformer 自身的内部动态引导其生成
Guiding a Diffusion Transformer with the Internal Dynamics of Itself
提出一种无需额外训练或采样步数的引导方式：训练时对中间层加辅助监督，采样时对中间层与深层输出做外推，可直接替换或叠加 CFG 用于 DiT 类扩散模型，在低训练轮次下显著降低 FID。