混合注意力

注意力手术：一种高效线性化视频扩散 Transformer 的配方

Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer

提出一种无需从头训练即可将预训练视频扩散 Transformer 中的 softmax 注意力替换为线性或混合注意力的高效框架，结合蒸馏与微调，显著降低长视频生成的计算成本，为视觉生成模型的高效部署提供可复用方案。