图文预训练

TIPSv2：以增强的图像块-文本对齐推进视觉-语言预训练

TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment

论文提出的 iBOT++ 让未掩码 token 也直接参与损失，并证明图像块级蒸馏可显著增强稠密图像块-文本对齐（学生甚至超过教师），为需要稠密视觉-语言对齐的下游任务（分割、深度预测、开放词表定位）提供了可复用的预训练配方。