稀疏推理

Sparse-LaViDa：稀疏多模态离散扩散语言模型

Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models

对做视觉生成/编辑的人，这篇给出了一个可直接套用的加速手段：在掩码离散扩散的每一步采样中动态截断冗余的掩码 token，并用 register token 保留其信息、用匹配的注意力掩码对齐训练与推理，从而在文本到图像生成与图像编辑上获得约 2 倍加速而不掉质量。