掩码视觉建模

面向高效视频-语言预训练的簇级时空掩码

Cluster-Wise Spatio-Temporal Masking for Efficient Video-Language Pretraining

提出按帧内语义聚类、每簇保留时序密度最高词元的掩码策略，可直接迁移到任何视频-语言或视频自监督预训练流程中，在极高掩码率下同时缓解视觉信息丢失与帧间信息泄漏，并配合视频-文本相关性重建目标提升跨模态语义对齐。