Tag · 2 篇
掩码扩散模型
01 02
LLaDA-V：带视觉指令微调的大语言扩散模型
LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning
把自回归解码换成掩码扩散式解码，并利用双向注意力建模视觉特征的空间关系，为视觉-语言模型提供了一条非自回归的架构路线，可直接复用其视觉编码器+MLP连接器+扩散语言模型的组合范式。
LLaDA-MedV：探索用于生物医学图像理解的大语言扩散模型
LLaDA-MedV: Exploring Large Language Diffusion Models for Biomedical Image Understanding
将掩码扩散语言模型（LLaDA）通过视觉指令微调迁移到生物医学图像理解，为视觉-语言建模提供了一条非自回归的替代路径；其关于初始化权重选择、微调策略以及采样步数与响应重复之间权衡的分析，对任何尝试用扩散式语言模型做多模态生成的视觉研究者都有直接参考价值。