Tag · 13 篇
掩码建模
解锁强监督：通用音频预训练方法的数据中心研究
Unlocking Strong Supervision: A Data-Centric Study of General-Purpose Audio Pre-Training Methods
该论文的数据中心视角（高质量标注数据优先于预训练目标选择）对视觉预训练有直接借鉴意义：可复用其高保真标注生成流程与统一标签系统构建方法，并启示视觉领域在扩大预训练数据时优先提升数据质量与覆盖度。
面向零样本组合图像检索的自引导语义检查
Self-guided Semantic Inspection for Zero-Shot Composed Image Retrieval
DiffComp 用「短语引导掩码」主动制造图文语义差异，再以差异感知组合模块按差异程度自适应融合特征，这套「先制造差异再组合」的自监督训练范式可直接迁移到任何需要图文联合推理的检索或组合式生成任务中。
重新审视统一多模态模型的视觉生成：面向高效纯图像预训练的掩码建模
Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training
把 UMM 的视觉生成部分拆成「纯图像掩码预训练 + 少量图文对指令对齐」两阶段，用 1000 H800 小时从零训出 3.6B 生成器，为视觉研究者提供了一个低成本复现统一多模态生成能力的训练配方。
RAMEN：面向地球观测的分辨率可调多模态编码器
RAMEN: Resolution-Adjustable Multimodal Encoder for Earth Observation
将空间分辨率作为可控输出参数，使单一Transformer编码器能在推理时按需调整细节层次，为多传感器、多分辨率遥感数据的统一表征学习提供了可复用的预训练范式。
OpenDance：基于大规模互联网数据的多模态可控 3D 舞蹈生成
OpenDance: Multimodal Controllable 3D Dance Generation with Large-scale Internet Data
提出统一的掩码建模框架，通过解耦自编码器与多模态联合预测 Transformer，实现音乐、文本、关键点、轨迹任意组合条件下的 3D 舞蹈生成，为多条件可控人体运动生成提供了可复用的架构与大规模数据集。
面向域自适应分割的掩码表征建模
Masked Representation Modeling for Domain-Adaptive Segmentation
MRM 在潜空间对高层语义特征做掩码重建，可作为通用辅助任务嵌入 DeepLab、DAFormer 等分割网络，训练时联合优化、推理时零开销，为域自适应分割提供了一种简单有效的自监督信号构造方式。
掩码对齐、加权消歧：基于掩码加权对比的可靠无监督跨模态哈希
Mask to Align, Weight to Disambiguate: Reliable Unsupervised Cross-Modal Hashing with Masked-Weight Contrast
在多模态融合前引入掩码构造部分观测交互，并用语义亲和度加权的对比目标抑制假阴性，这套「掩码+加权对比」思路可直接迁移到视觉-文本检索、图文对齐等跨模态表征学习任务中，缓解主导模态偏置与语义相近样本被误判为负例的问题。
MacTok：面向图像生成的鲁棒连续分词器
MacTok: Robust Continuous Tokenization for Image Generation
MacTok 通过随机掩码和 DINO 引导的语义掩码来正则化潜变量学习，结合全局与局部表征对齐，防止少词元下的后验坍塌，为视觉生成提供了一种高效的一维连续分词方案，可直接用于扩散模型的前端压缩。
从无位姿多视图图像中学习面向空间智能的三维表征
Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images
在无相机位姿的多视图输入下，用双掩码迫使编码器从残缺视觉线索推断结构，并用位姿条件重投影把预测的3D点图与语义图对齐到图像平面，可作为无位姿前馈3D表征预训练的可复用范式，直接服务场景理解与具身感知的下游任务。
立方离散扩散：基于高维表征词元的离散视觉生成
Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens
把预训练高维语义表征（768-1024 维）直接离散化后做掩码扩散生成，使同一套离散词元既能用于理解又能用于生成，为视觉生成与语言模型共享词元预测范式提供了可复用的路径；其「任意维度任意位置可掩码、生成步数固定为 T」的机制可直接迁移到高维特征上的生成式建模。
自然图像自编码器能否紧凑地词元化 fMRI 体积以进行长程动力学建模？
Can Natural Image Autoencoders Compactly Tokenize fMRI Volumes for Long-Range Dynamics Modeling?
把预训练的 2D 自然图像自编码器当作 fMRI 体数据的词元化器，将每个 3D 体积压成少量连续词元，从而用普通 Transformer 编码器在有限显存下做长程时空建模；这套「自然图像编码器跨域复用 + 掩码词元建模预训练」的思路可直接迁移到其他高维医学/科学体数据的序列化建模。
将预训练单细胞基础模型适配于从组织学图像生成空间基因表达
Adapting a Pre-trained Single-Cell Foundation Model to Spatial Gene Expression Generation from Histology Images
将预训练单细胞基础模型通过轻量级视觉条件调制（SoftAdaLN）和掩码扩散目标适配到组织学图像条件生成，为视觉-组学跨模态生成提供可复用的条件注入与目标对齐策略。
动作基元：人体运动的自监督分层表示
Action Motifs: Self-Supervised Hierarchical Representation of Human Body Movements
把 3D 人体姿态序列切成变长片段、每段压成一个潜变量词元，再用掩码词元预测自监督地学出可复用的动作基元（Action Motifs），这种分层潜变量 Transformer 可直接迁移到动作识别、运动预测与运动插值的表征预训练中。