分层-Top-K-选择

面向高效扩散 Transformer 的可训练对数线性稀疏注意力

Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers

LLSA 把 DiT 自注意力的选择与计算复杂度从二次降到对数线性，并给出仅用稀疏索引的前向/反向 GPU 实现，可直接替换现有 DiT 中的 Top-K 块稀疏注意力，用于高分辨率像素空间长序列生成训练。