结构化稀疏注意力

VMonarch：面向高效视频扩散 Transformer 的结构化注意力

VMonarch: Efficient Video Diffusion Transformers with Structured Attention

把 Monarch 结构化矩阵引入视频 DiT 的时空注意力，用交替最小化在线拟合动态稀疏模式，并配合重计算与在线熵估计融合进 FlashAttention，可直接替换长视频生成中的全注意力层，在 90% 稀疏度下仍优于现有稀疏注意力方法。