Tag · 3 篇

线性复杂度序列建模

分布自监督与表征学习1生成模型与扩散1自动驾驶与遥感1

ViT$^3$: Unlocking Test-Time Training in Vision

把注意力重写为测试时的在线学习问题，用键值对在线构建紧凑内模型，为视觉主干提供线性复杂度且可并行化的替代方案；做视觉骨干替换或长序列/高分辨率视觉建模时，可直接把 ViT^3 当作 Mamba、线性注意力的对照基线。

M4V: Multimodal Mamba for Efficient Text-to-Video Generation

用双向词元重排加视觉寄存器把 Mamba 的线性复杂度序列建模接入扩散式文生视频主干，在 768x1280 分辨率下比注意力方案省 45% 浮点运算量，可作为高分辨率视频生成中替代全局注意力的可复用模块。

FoSS: Modeling Long-Range Dependencies and Multimodal Uncertainty in Trajectory Prediction via Fourier-State Space Integration

用离散傅里叶变换把轨迹拆成幅值（全局意图）与相位（局部变化）两支，再用线性复杂度的选择性状态空间模型（Coarse2Fine-SSM、SpecEvolve-SSM）替代二次复杂度的注意力，为多智能体轨迹预测提供了一条兼顾长程依赖与效率的可复用范式。