Tag · 8 篇
多模态思维链
理解并缓解多模态思维链模型中的幻觉
Understanding and Mitigating Hallucinations in Multimodal Chain-of-Thought Models
针对多模态思维链模型在复杂视觉推理中的幻觉问题,提出定位发散思维步骤并在解码阶段干预的方法,可直接用于提升视觉推理链的可靠性,且能与其他幻觉缓解策略叠加。
用视频思考:面向长视频推理的多模态工具增强强化学习
Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
把「按需采样视频帧」做成可调用的视觉工具箱,并用 DGRPO 平衡多任务 RL 中的难度差异,为长视频 MLLM 推理提供了一条可复用的 agentic 训练范式;做视频问答或时序定位时可直接借鉴其多任务数据构造与 RL 策略。
面向多模态思维链的理由增强解码
Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought
提供了一种推理时即插即用的解码策略:将图像条件与思维链理由条件的下一词元分布相乘,可直接套用到任意 LVLM 的多模态推理流程中,无需训练即可提升理由忠实度与答案准确率。
PointThinker:面向多模态大模型的点激励并行思维
PointThinker: Point-Incentivized Parallel Thinking for Multimodal Large Language Model
把「先列出多个视觉关键点、再以每个点为起点展开独立推理链」作为并行思维链的组织方式,并配合点级(dense)奖励的强化学习(GPPO)做自验证,可直接迁移到多模态推理、幻觉抑制等需要多路径推理的视觉语言任务中。
Monet:超越图像与语言的潜视觉空间推理
Monet: Reasoning in Latent Visual Space Beyond Image and Language
把中间推理步骤从文本 token 换成连续视觉嵌入,让 MLLM 在潜视觉空间里做多步推理,并给出 VLPO 把潜嵌入纳入策略梯度更新——做多模态推理、CoT 或 RL 微调的人可以直接复用这套三阶段蒸馏 SFT + 潜变量 RL 的训练配方。
机器心理意象:以潜视觉 token 增强多模态推理
Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens
把 VLM 的隐藏状态直接当作「潜视觉 token」续写到解码轨迹里,替代显式生成图像来做视觉想象,为多模态推理提供了一条不依赖图像生成器的中间表示路径;其「先蒸馏图像嵌入、再纯文本监督、最后 RL 微调」的三段式训练流程可直接迁移到其他需要视觉中间步骤的 VLM 任务。
LongVT:通过原生工具调用激励“用长视频思考”
LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling
将LMM固有的时序定位能力作为原生视频裁剪工具,实现全局到局部的迭代推理,为长视频理解提供可复用的智能体框架与数据构造流程。
JarvisEvo:面向协同编辑器-评估器优化的自进化照片编辑智能体
JarvisEvo: Towards a Self-Evolving Photo Editing Agent with Synergistic Editor-Evaluator Optimization
把交错多模态思维链(iMCoT)与编辑器-评估器协同策略优化(SEPO)引入图像编辑智能体,为视觉研究者提供一种无需外部奖励模型即可自我改进、并缓解奖励黑客的可复用训练范式;同时其保真型/生成型编辑双工具集成与 ArtEdit-Bench 评测协议可直接用于评估编辑中的像素级保真度。