高效模型与推理加速 / CVPR2026
将并行序列模型扩展至视觉基础模型
Scaling Parallel Sequence Models to Vision Foundation Models
用 C-GSPN 替换 ViT 中的自注意力块,可在 2D 网格上做线性时间上下文传播并去掉位置编码,配合融合 CUDA kernel 与两阶段蒸馏,让视觉基础模型预训练在同等算力下获得约 2 倍加速;做高分辨率或长序列视觉骨干时可直接复用该算子与蒸馏流程。
线性复杂度注意力空间传播网络CUDA-算子融合