Tag · 4 篇

长序列建模

分布 3D 视觉与重建2高效模型与推理加速1生成模型与扩散1

UFO: Unifying Feed-Forward and Optimization-based Methods for Large Driving Scene Modeling

把前馈重建与逐场景优化统一成循环式 4D 场景 token 表示，并用可见性过滤把 3D 到像素对应的复杂度从二次降到近线性，可直接迁移到长序列动态场景重建与新视角合成。

Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers

LLSA 把 DiT 自注意力的选择与计算复杂度从二次降到对数线性，并给出仅用稀疏索引的前向/反向 GPU 实现，可直接替换现有 DiT 中的 Top-K 块稀疏注意力，用于高分辨率像素空间长序列生成训练。

ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers

把 softmax 注意力的保真度与线性注意力的效率结合成 chunk 级循环形式，并给出从已有双向 softmax 视频扩散模型蒸馏到混合注意力的低成本配方，可直接用于把长视频生成模型扩展到线性复杂度。

LongStream: Long-Sequence Streaming Autoregressive Visual Geometry

提出规范解耦的流式视觉几何模型，通过预测关键帧相对位姿和正交尺度学习，将长序列外推转化为恒定难度的局部任务，并利用缓存一致性训练与周期性刷新抑制注意力偏差，为在线长序列三维重建提供可复用方案。