长序列-Transformer

自然图像自编码器能否紧凑地词元化 fMRI 体积以进行长程动力学建模？

Can Natural Image Autoencoders Compactly Tokenize fMRI Volumes for Long-Range Dynamics Modeling?

把预训练的 2D 自然图像自编码器当作 fMRI 体数据的词元化器，将每个 3D 体积压成少量连续词元，从而用普通 Transformer 编码器在有限显存下做长程时空建模；这套「自然图像编码器跨域复用 + 掩码词元建模预训练」的思路可直接迁移到其他高维医学/科学体数据的序列化建模。