Tag · 1 篇
Exploring Visual Pretraining for Learning Language Intelligence
把文档图像当作语言模型的预训练语料，用掩码自回归目标让 LLM 从可见区域推断被遮挡区域的潜变量假设，为视觉研究者提供了一个可复用的思路：用视觉输入替代或补充文本语料来提升语言推理能力，并可用潜空间对齐分析跨模态表征。