Tag · 25 篇
稀疏注意力
面向前馈高斯泼溅的 Z-Order Transformer
Z-Order Transformer for Feed-Forward Gaussian Splatting
将无序高斯点集通过 Z-order 曲线序列化，并用稀疏注意力建模空间与语义关系，为前馈式 3DGS 提供了一种可复用的高效上下文建模与冗余压缩方案。
VecAttention：面向长上下文推理加速的向量级稀疏注意力
VecAttention: Vector-wise Sparse Attention for Accelerating Long Context Inference
对做长视频理解或视频生成的视觉研究者，这篇论文提供了一个可直接替换全注意力的向量级稀疏注意力方案：利用视频注意力图的垂直向量稀疏模式，配合轻量重要向量选择与定制稀疏核，在 VideoMME、LongVideoBench、VBench 等任务上以约 2.65 倍加速保持精度，可作为长上下文视频模型推理加速的通用组件。
UniMERNet：面向真实世界数学表达式识别的通用网络
UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition
提出 Raster-Scan Attention，将全局注意力的 O(NH²W²D) 复杂度降至 O(NHWD(H+W))，可复用于其他需要处理长序列的视觉任务（如场景文本识别、文档理解），在保持精度的同时大幅降低显存和加速推理。
面向高效扩散 Transformer 的可训练对数线性稀疏注意力
Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers
LLSA 把 DiT 自注意力的选择与计算复杂度从二次降到对数线性，并给出仅用稀疏索引的前向/反向 GPU 实现，可直接替换现有 DiT 中的 Top-K 块稀疏注意力，用于高分辨率像素空间长序列生成训练。
TimeRipples：通过理解潜空间中的时空相关性加速 vDiT
TimeRipples: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space
针对 vDiT 自注意力推理延迟，利用潜空间中词元通道级的时空相关性，设计轻量自适应复用策略近似注意力计算，实现 85% 计算节省且视频质量几乎无损，为视频生成模型的高效推理提供可复用方案。
TEXTRIX：面向原生纹理生成及更多应用的潜变量属性网格
TEXTRIX: Latent Attribute Grid for Native Texture Generation and Beyond
用潜空间三维属性网格 + 稀疏注意力 Diffusion Transformer 直接在体空间给 3D 模型上色，绕开多视角融合的视角不一致问题；同一架构改预测语义属性即可做 3D 部件分割，为「生成式三维表征复用为判别任务」提供了可借鉴范式。
SparVAR：探索视觉自回归建模中的稀疏性以实现免训练加速
SparVAR: Exploring Sparsity in Visual AutoRegressive Modeling for Training-Free Acceleration
SparVAR 提出免训练的稀疏注意力机制，利用 VAR 模型中的注意力汇、跨尺度激活相似性和局部性，动态预测高分辨率尺度的稀疏模式，并实现高效块稀疏核，可将 8B 模型生成 1024x1024 图像的时间降至 1 秒，为视觉自回归生成模型提供通用加速方案。
SegMo：面向高效 VLM 推理的内容感知稀疏化与局部凝聚分段并行协同设计
SegMo: Co-Designing Content-Aware Sparsity and Locally-Cohesive Segment Parallelism for Efficient VLM Inference
对做视频多模态推理的人，这篇给出了一个可直接复用的思路：利用 VideoLLM 注意力在场景内的局部凝聚性，先按查询相关性做场景级筛选、再按时序冗余做场景内剪枝，得到非均匀计算负载，并在场景边界切分做分段并行，用轻量全局上下文注入替代全局注意力的通信开销。
Sculpt4D：基于稀疏注意力扩散 Transformer 生成 4D 形状
Sculpt4D: Generating 4D Shapes via Sparse-Attention Diffusion Transformers
把预训练 3D 扩散 Transformer 通过块稀疏注意力扩展成时序 4D 生成器，其时间衰减稀疏掩码锚定首帧保身份的思路可直接迁移到视频/动态 NeRF 等需要长程时序一致性的生成任务，并显著降低注意力开销。
RAPID：面向高效视频扩散的跨步自适应注意力稀疏复用
RAPID: Reusing Attention Sparsity with Inter-step Adaptation for Efficient Video Diffusion
把视频扩散中 3D 注意力的稀疏模式当作可缓存的时序稳定信号：在生成早期做一次注意力块重要性估计并缓存稀疏掩码，后续步骤直接复用，从而免去逐步重算的开销；这套「一次性估计 + 跨步复用」思路可直接迁移到任何 DiT 类视频/图像生成模型的推理加速上。
RADAR：VAR的VQ-VAE解码器是加速退化恢复的好学生
RADAR: VQ-VAE Decoder of VAR is a Good Student for Restoring Against Degradation by Acceleration
针对VAR中跨尺度注意力语义偏置问题，提出语义代价感知的注意力掩码与解码器端LoRA知识蒸馏恢复，为视觉自回归生成提供可复用的加速与保真平衡方案。
超越简单相加：面向恶劣全景场景的全景-语言模型
More than the Sum: Panorama-Language Models for Adverse Omni-Scenes
提出即插即用的全景稀疏注意力模块，让已有的针孔式 VLM 无需重训练即可处理等距柱状全景图，为 360° 视觉语言推理提供了可复用的适配手段；PanoVQA 数据集则提供了遮挡与事故等恶劣全景场景下的评测基准。
MeshRipple：艺术家网格的结构化自回归生成
MeshRipple: Structured Autoregressive Generation of Artist-Meshes
把网格面序列化顺序与表面拓扑对齐（frontier-aware BFS tokenization），并用稀疏注意力全局记忆扩展感受野，可直接迁移到任何自回归式 3D 资产生成或点云/网格序列建模中，解决滑窗推理割裂长程几何依赖的问题。
基于稀疏注意力与自适应频率的学习图像压缩
Learned Image Compression via Sparse Attention and Adaptive Frequency
跨稀疏窗口注意力用少量窗口条件化的全局 token 建模长程依赖，在计算量低于标准窗口自注意力的同时提升效果，可直接迁移到其他需要高效全局建模的视觉骨干；内容自适应频率变换与仅训练期去噪正则化也为潜变量结构化和零推理开销的质量提升提供了可复用思路。
InterAgent：基于交互图扩散的物理多智能体指令执行
InterAgent: Physics-based Multi-agent Command Execution via Diffusion on Interaction Graphs
提出交互图外感知表示与稀疏边注意力机制，可迁移到多智能体视觉感知与交互建模任务中，用于显式编码关节间空间依赖并动态剪枝冗余连接。
用动态注意力改进稀疏自编码器
Improving Sparse Autoencoder with Dynamic Attention
对做视觉表征分析与模型可解释性的研究者，这篇提供了用 sparsemax 交叉注意力替代 ReLU/TopK 的 SAE 激活方案，可自适应决定每个神经元激活的概念数，从而在重建质量与特征解耦可解释性之间取得更好平衡，并可作为现有 SAE 的稀疏度调参指导。
基于层自适应分布外校正的免训练长视频生成
Free-Lunch Long Video Generation via Layer-Adaptive O.O.D Correction
针对预训练短片段视频扩散模型在长视频推理时的分布外问题，提出免训练的分层自适应校正框架，包含视频相对位置重编码和分层稀疏注意力，可直接用于提升现有视频扩散模型的长视频生成质量。
FlashVSR：面向实时扩散式流式视频超分辨率
FlashVSR: Towards Real-time Diffusion-Based Streaming Video Super Resolution
面向实时视频超分，提出三阶段蒸馏流水线把多步扩散压缩为单步流式推理，并用局部约束稀疏注意力弥合训练-测试分辨率差距；做扩散加速或高分辨率视频复原时可直接借鉴这两套机制。
DreamStereo：面向高清视频的实时立体修复
DreamStereo: Towards Real-Time Stereo Inpainting for HD Videos
Sparsity-Aware Stereo Inpainting 通过稀疏 token 选择把扩散推理的冗余计算削减 70% 以上，这一思路可直接迁移到任何只需局部修改的扩散式图像/视频编辑任务；Parallax-Based Dual Projection 则提供了一种无需真实立体视频即可合成几何一致训练对的构造方式。
DREAM：基于显式自适应记忆的文档识别
DREAM: Document Recognition with Explicit Adaptive Memory
把显式的多尺度原型记忆作为即插即用模块接入编码器-解码器，让局部区域稀疏检索可解释的结构原型（如边框、倾斜文本），为文档/手写识别等视觉-语言任务提供显式区域级结构上下文，可迁移到任何需要布局先验的视觉编码器。
CubeComposer：从透视视频时空自回归生成 4K 360 度视频
CubeComposer: Spatio-Temporal Autoregressive 4K 360deg Video Generation from Perspective Video
把高分辨率全景视频生成拆成立方体贴图六面 + 时间窗的自回归序列，配合稀疏上下文注意力与立方体感知位置编码，为在有限显存下原生生成超高分辨率视频提供了可复用的时空自回归分解范式。
面向高效多视图几何 Transformer 的块稀疏全局注意力
Block-Sparse Global Attention for Efficient Multi-View Geometry Transformers
把稠密全局注意力换成免训练的块稀疏注意力，可直接插到 VGGT、π³、MapAnything 这类前馈多视图重建 Transformer 中，在几乎不掉性能的前提下把大图集推理加速 3 倍以上，是处理大规模多视图输入时一个即插即用的效率手段。
AdaSpark：面向高效长视频理解的自适应稀疏性
AdaSpark: Adaptive Sparsity for Efficient Long-Video Understanding
AdaSpark 的「3D 时空立方体划分 + 熵驱动 Top-p 自适应选择」可直接迁移到任何长视频或多帧输入的视觉 Transformer 中，用输入复杂度动态决定注意力与 FFN 的计算预算，在保留细粒度与长程时序依赖的同时降低浮点运算量。
AdaCluster：面向视频生成的稀疏注意力自适应查询-键聚类
AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation
对做视频扩散 Transformer 推理加速的人，这篇给出了一个免训练的稀疏注意力方案：对 query 用保角相似度的聚类、对 key 用保欧氏相似度的聚类，并配合按阈值自适应确定簇数与关键簇选择，可直接套到 CogVideoX、HunyuanVideo、Wan 等 DiT 主干上换取 1.67x–4.31x 加速。
AVGGT：重新审视全局注意力以加速 VGGT
AVGGT: Rethinking Global Attention for Accelerating VGGT
对做多视图三维重建的人，这篇给出了 VGGT/π³ 中全局注意力各层分工的实证结论（早层无对应、中层做跨视图对齐、末层仅微调），并据此提出免训练的两步加速：早层全局注意力改为帧内注意力、中层全局注意力对 patch token 的 K/V 做保对角子采样加均值填充，可直接套用到其他交替全局-帧注意力架构上。