Tag · 3 篇

线性复杂度注意力

分布 3D 视觉与重建2高效模型与推理加速1

ZipMap: Linear-Time Stateful 3D Reconstruction via Test-Time Training

用测试时训练层把整组图像压缩成紧凑的隐场景状态，将多视图前馈重建的二次复杂度降到线性，视觉研究者可直接借鉴这一「有状态前馈」范式处理大规模图像集与实时场景查询。

VGG-T$^3$: Offline Feed-Forward 3D Reconstruction at Scale

用测试时训练把随视角数增长的 KV 场景表示蒸馏进固定大小的 MLP，使前馈式多视图重建的复杂度从二次降为线性，可直接用于大规模图像集的三维重建与基于场景表示的视觉定位。

Scaling Parallel Sequence Models to Vision Foundation Models

用 C-GSPN 替换 ViT 中的自注意力块，可在 2D 网格上做线性时间上下文传播并去掉位置编码，配合融合 CUDA kernel 与两阶段蒸馏，让视觉基础模型预训练在同等算力下获得约 2 倍加速；做高分辨率或长序列视觉骨干时可直接复用该算子与蒸馏流程。