Tag · 2 篇
视觉基础模型预训练
分布 高效模型与推理加速1自监督与表征学习1
01 02
将并行序列模型扩展至视觉基础模型
Scaling Parallel Sequence Models to Vision Foundation Models
用 C-GSPN 替换 ViT 中的自注意力块，可在 2D 网格上做线性时间上下文传播并去掉位置编码，配合融合 CUDA kernel 与两阶段蒸馏，让视觉基础模型预训练在同等算力下获得约 2 倍加速；做高分辨率或长序列视觉骨干时可直接复用该算子与蒸馏流程。
SARMAE：面向 SAR 表征学习的掩码自编码器
SARMAE: Masked Autoencoder for SAR Representation Learning
把 SAR 特有的相干斑噪声显式注入 MAE 的掩码重建流程，并用配对光学图像作为语义锚框约束特征对齐，这套「噪声感知预训练 + 跨模态语义约束」思路可迁移到其他低质量或强噪声成像域（如超声、低光照、去噪前表征）的自监督预训练。