PixelDiT：用于图像生成的像素扩散 Transformer
PixelDiT: Pixel Diffusion Transformers for Image Generation
去掉预训练自编码器、直接在像素空间做扩散，并用 patch 级 + pixel 级双层级 DiT 兼顾全局语义与纹理细节，为做图像生成的人提供了一条避免有损重建与误差累积的单阶段端到端路线，可直接迁移到高分辨率文生图训练。
原文依据 a patch-level DiT that captures global semantics and a pixel-level DiT that refines texture details
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论潜变量空间建模一直是扩散 Transformer（DiT）的标准做法。然而，它依赖两阶段流程，其中预训练自编码器会引入有损重建，导致误差累积，同时阻碍联合优化。为解决这些问题，我们提出 PixelDiT，一种单阶段、端到端的模型，无需自编码器，直接在像素空间学习扩散过程。PixelDiT 采用完全基于 Transformer 的架构，并由双层级设计塑造：patch 级 DiT 捕捉全局语义，pixel 级 DiT 精修纹理细节，从而在保留精细细节的同时实现像素空间扩散模型的高效训练。PixelDiT 在 ImageNet 256 上取得 1.61 的弗雷歇初始距离，在 ImageNet 512 上取得 1.81 的弗雷歇初始距离，大幅超越现有像素生成模型。我们进一步将 PixelDiT 扩展到文本到图像生成，并在像素空间以 1024^2 分辨率进行预训练。它在 GenEval 上取得 0.74、在 DPG-bench 上取得 83.5，接近最佳潜变量扩散模型的水平。
英文原文摘要 1064 字符
Latent-space modeling has been the standard for Diffusion Transformers (DiTs). However, it relies on a two-stage pipeline where the pretrained autoencoder introduces lossy reconstruction, leading to error accumulation while hindering joint optimization. To address these issues, we propose PixelDiT, a single-stage, end-to-end model that eliminates the need for the autoencoder and learns the diffusion process directly in the pixel space. PixelDiT adopts a fully transformer-based architecture shaped by a dual-level design: a patch-level DiT that captures global semantics and a pixel-level DiT that refines texture details, enabling efficient training of a pixel-space diffusion model while preserving fine details. PixelDiT achieves 1.61 FID on ImageNet 256 and 1.81 FID on ImageNet 512, surpassing existing pixel generative models by a large margin. We further extend PixelDiT to text-to-image generation and pretrain it at the 1024^ 2 resolution in pixel space. It achieves 0.74 on GenEval and 83.5 on DPG-bench, approaching the best latent diffusion models.