Tag · 5 篇
多模态指令微调
论词元的困境：面向大型视觉语言模型持续学习的漂移感知词元分配动态混合专家
On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models
对做 LVLM 持续指令微调的人，这篇给出了 token 级诊断视角：用路由分数分布区分歧义/旧任务词元，并对它们施加定向正则，避免被新专家吸走；这套「漂移感知词元分配」可直接插到任何增量扩专家的 MoE-LVLM 上。
基于动态梯度引导的多模态持续指令微调
Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance
把灾难性遗忘重新表述为「旧任务梯度缺失」，并用当前参数与历史最优参数之间的方向向量来近似该梯度，这一思路可直接迁移到视觉语言模型的持续指令微调与多任务适配中，配合伯努利采样在稳定性与可塑性之间动态权衡。
GThinker：通过线索引导重思考迈向通用多模态推理
GThinker: Towards General Multimodal Reasoning via Cue-Guided Rethinking
提出「视觉惯性」问题并设计线索引导的重思考机制，可被视觉推理模型复用，用于缓解模型对初始视觉感知的过度自信，提升复杂视觉问答的可靠性。
DuoGen：迈向自主交错多模态生成
DuoGen: Towards Autonomous Interleaved Multimodal Generation
用预训练 MLLM 做视觉理解、用视频预训练 DiT 做图像生成，再以两阶段解耦对齐把两者拼成交错图文生成器，为视觉研究者提供了免单模态预训练即可搭建统一生成模型的可行路径，以及交错图文评测基准。
CURE：面向可靠解剖定位报告生成的课程引导多任务训练
CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation
把错误感知的课程学习用在多模态指令微调上，按模型当前表现动态调整短语定位与报告生成样本的采样权重，为视觉-语言模型提升空间对齐、抑制幻觉提供了一个无需额外数据的可复用训练策略。