Tag · 8 篇
线性注意力
Yume1.5：文本控制的交互式世界生成模型
Yume1.5: A Text-Controlled Interactive World Generation Model
统一上下文压缩加线性注意力、以及双向注意力蒸馏，是把扩散视频生成压到实时流式（单卡 A100 上 540p 12fps）的可复用手段，做交互式世界模型或长视频生成的人可以直接借鉴其历史上下文压缩与蒸馏流程。
ReHyAt：面向视频扩散 Transformer 的循环混合注意力
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
把 softmax 注意力的保真度与线性注意力的效率结合成 chunk 级循环形式，并给出从已有双向 softmax 视频扩散模型蒸馏到混合注意力的低成本配方，可直接用于把长视频生成模型扩展到线性复杂度。
RNN 即线性 Transformer：对视觉 Mamba 模型表征潜力的深入考察
RNN as Linear Transformer: A Closer Investigation into Representational Potentials of Visual Mamba Models
把 Mamba 解释为 Softmax 注意力的低秩近似，并给出用二值分割指标定量评估激活图长程依赖能力的方法；做视觉骨干网络选型或可解释性分析时，可复用这套理论视角与评估协议。
LinVideo：面向高效视频生成中 O(n) 注意力的后训练框架
LinVideo: A Post-Training Framework towards O(n) Attention in Efficient Video Generation
把视频扩散模型中部分自注意力模块替换为线性注意力，并用二分类器自动选择可替换层、用任意时刻分布匹配目标恢复性能，可直接迁移到任何 DiT 类视频/图像生成模型的推理加速上。
无需多模态注意力的门控条件注入：面向可控线性注意力 Transformer
Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers
用统一门控条件模块替代多模态注意力，在 SANA 等线性注意力骨干上注入空间对齐与非对齐条件，为端侧可控扩散生成提供可复用的条件注入范式。
从图像修复到图层分解：改造生成式图像修复模型用于图像图层分解
From Inpainting to Layer Decomposition: Repurposing Generative Inpainting Models for Image Layer Decomposition
把预训练的扩散图像修复模型通过轻量微调改造成图层分解器，并用线性复杂度的多模态上下文融合模块在潜空间保留细节；做图像编辑、遮挡恢复或前景/背景分离的研究者可直接复用这一「修复模型即分解模型」的迁移思路与融合模块。
效率源于全局-局部解耦
Efficiency Follows Global-Local Decoupling
把全局上下文聚合与局部特征提取拆成两条分支、用轻量 token 上的神经记忆做全局推理，可作为一种即插即用的骨干设计，在分类/检测/分割中替代全全局注意力以换取更优的精度-延迟权衡。
注意力手术：一种高效线性化视频扩散 Transformer 的配方
Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer
提出一种无需从头训练即可将预训练视频扩散 Transformer 中的 softmax 注意力替换为线性或混合注意力的高效框架，结合蒸馏与微调，显著降低长视频生成的计算成本，为视觉生成模型的高效部署提供可复用方案。