Tag · 4 篇
扩散语言模型
思考扩散:惩罚与引导扩散多模态语言模型中的视觉定位推理
Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models
针对扩散多模态大模型在思维链推理中过早生成答案且视觉定位不足的问题,提出位置与步数惩罚(PSP)和视觉推理引导(VRG),可复用于其他并行生成式多模态模型的推理增强。
拒绝混合:面向高效 DLLM 推理的掩码词元快速语义传播
Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference
ReMix 的连续混合状态与拒绝回退机制可迁移到视觉语言模型的掩码扩散解码中,用于缓解并行解码时的组合矛盾,实现免训练加速且不损失质量。
MMCP-GEN:面向条件蛋白质序列生成的模态可扩展扩散语言模型
MMCP-GEN: A Modality-Extensible Diffusion Language Model for Conditional Protein Sequence Generation
其「可学习查询 + 模态指示头」的可组合条件机制,可迁移到视觉扩散模型的多条件控制(如同时以深度、分割、文本为条件),实现新增条件时无需重训主干;生成-打分联合目标也可借鉴用于序列与结构一致性的对齐。
可解释提示词变得易于编辑:面向编辑友好硬提示词反演的 dLLM 词元间相似度抑制
Interpretable Prompts made Edit-Friendly: Token-to-Token Similarity Reduction in dLLMs for Edit-Friendly Hard Prompt Inversion
把扩散语言模型解码器中的词元相似度控制与扩散时间采样结合,得到对词元替换/追加鲁棒的硬提示词,可直接用于 T2I 模型的可编辑提示词反演与下游提示词编辑流程,且无需微调 T2I 或语言模型。