Tag · 3 篇
视觉指令微调
01 02 03
文本印刷图像：弥合图像-文本模态鸿沟以实现大型视觉语言模型的文本中心训练
Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models
提出将文本直接渲染为图像（TPI）来桥接模态鸿沟，为LVLM在仅有文本数据时提供低成本训练方案，可复用于数据稀缺场景下的视觉语言模型微调与数据增强。
LLaDA-V：带视觉指令微调的大语言扩散模型
LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning
把自回归解码换成掩码扩散式解码，并利用双向注意力建模视觉特征的空间关系，为视觉-语言模型提供了一条非自回归的架构路线，可直接复用其视觉编码器+MLP连接器+扩散语言模型的组合范式。
LLaDA-MedV：探索用于生物医学图像理解的大语言扩散模型
LLaDA-MedV: Exploring Large Language Diffusion Models for Biomedical Image Understanding
将掩码扩散语言模型（LLaDA）通过视觉指令微调迁移到生物医学图像理解，为视觉-语言建模提供了一条非自回归的替代路径；其关于初始化权重选择、微调策略以及采样步数与响应重复之间权衡的分析，对任何尝试用扩散式语言模型做多模态生成的视觉研究者都有直接参考价值。