查询-键聚类

AdaCluster：面向视频生成的稀疏注意力自适应查询-键聚类

AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation

对做视频扩散 Transformer 推理加速的人，这篇给出了一个免训练的稀疏注意力方案：对 query 用保角相似度的聚类、对 key 用保欧氏相似度的聚类，并配合按阈值自适应确定簇数与关键簇选择，可直接套到 CogVideoX、HunyuanVideo、Wan 等 DiT 主干上换取 1.67x–4.31x 加速。