Tag · 44 篇
多模态推理
VisMem：潜变量视觉记忆释放视觉语言模型的潜力
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
为 VLM 在长程生成中维持视觉证据提供了一种潜空间记忆机制：短期记忆模块保留细粒度感知特征、长期记忆模块固化语义，可在推理阶段即插即用地缓解视觉定位漂移，对多模态推理与视觉生成类工作都可直接复用。
视频即答案：用联合 GRPO 预测并生成下一个视频事件
Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO
提出 Joint-GRPO 强化学习框架，将视觉语言模型与视频扩散模型联合优化，使 VLM 生成利于可视化的描述，VDM 生成与描述和视觉上下文一致的视频，为多模态推理与生成一体化提供可复用范式。
VRR-QA：超越显式线索的视频视觉关系推理
VRR-QA: Visual Relational Reasoning in Videos Beyond Explicit Cues
为视频问答提供了专门考察跨帧隐式关系推理的评测基准，可用于诊断现有 VideoQA 模型对表层视觉线索的依赖，并作为隐式推理能力训练与评估的测试平台。
VOLD：通过在线策略蒸馏将推理能力从大语言模型迁移到视觉语言模型
VOLD: Reasoning Transfer from LLMs to Vision-Language Models via On-Policy Distillation
把纯文本 LLM 的推理能力通过 on-policy 蒸馏迁移到 VLM，视觉研究者可直接复用其「SFT 冷启动对齐 + GRPO 在线蒸馏」流程来缓解图文推理数据稀缺问题。
VKG-QA：面向大型多模态模型的视觉知识图谱问答
VKG-QA: Visual Knowledge Graph-based Question Answer for Large Multimodal Models
把知识图谱渲染成图结构可视化图像，让 LMM 直接感知并推理高阶关系，为视觉推理研究提供了一个可复用的「图→图」表征范式与评测基准，可用于检验和提升模型对结构化视觉关系的理解能力。
通过免训练奖励归因解锁词元奖励
Unlocking Token Rewards via Training-Free Reward Attribution
对做多模态大模型推理（如 MathVista 上的视觉数学推理）的研究者，这篇给出了一个免训练、单次前向+反向即可从现有 PRM 中提取词元级奖励的方法，可直接替换 RL 微调中的结果奖励做更细粒度的信用分配，无需再训练奖励模型。
UniEdit-I：通过迭代理解、编辑与验证实现统一VLM的免训练图像编辑
UniEdit-I: Training-free Image Editing for Unified VLM via Iterative Understanding, Editing and Verifying
提出在统一VLM的语义潜空间中构建理解-编辑-验证闭环，利用VLM的多模态推理能力实时评估中间结果并动态调整编辑强度，为图像编辑提供免训练、自校正的新范式。
理解幻觉在多模态推理模型强化学习后训练中的作用
Understanding the Role of Hallucination in Reinforcement Post-Training of Multimodal Reasoning Models
提出一种通过模态特定扰动（移除或替换关键视觉信息）来诱导幻觉的分析框架，可用于诊断多模态大模型在强化学习后训练中是否真正依赖视觉信息，为设计模态感知的RL训练策略提供可复用工具。
用视频思考：视频生成作为有前景的多模态推理范式
Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm
把视频生成模型（如 Sora-2）当作统一的多模态推理器，用视频帧作为推理媒介，为视觉研究者提供了一个可复用的思路：将生成式视频模型直接用于视觉问答、数学推理等任务，并可用自一致性与上下文学习提升其推理表现。
思考扩散：惩罚与引导扩散多模态语言模型中的视觉定位推理
Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models
针对扩散多模态大模型在思维链推理中过早生成答案且视觉定位不足的问题，提出位置与步数惩罚（PSP）和视觉推理引导（VRG），可复用于其他并行生成式多模态模型的推理增强。
视觉思考，文本推理：抽象推理中的视觉-语言协同
Think Visually, Reason Textually: Vision-Language Synergy in Abstract Reasoning
论文揭示了视觉与语言在推理不同阶段的互补性：视觉擅长全局模式抽象与验证，语言擅长符号规则表述与精确执行。这为视觉研究者提供了一个可复用的思路——将视觉渲染作为验证模块嵌入文本推理流程，实现内在错误校正，尤其适用于需要从少量示例中归纳规则的少样本视觉推理任务。
连贯性陷阱：当多模态大语言模型构建的叙事利用被操纵的视觉上下文
The Coherence Trap: When MLLM-Crafted Narratives Exploit Manipulated Visual Contexts
提出利用MLLM生成语义连贯的虚假图文对来构建对抗数据集，并设计伪影感知编码与操作导向推理框架，为检测MLLM驱动的多模态虚假信息提供了可复用的数据生成与检测思路。
稳定高效的单次采样强化学习用于多模态推理
Stable and Efficient Single-Rollout RL for Multimodal Reasoning
针对多模态大模型强化学习微调中单次采样不稳定的问题，提出基于熵的优势塑造机制，可复用于视觉语言模型的RLVR训练，提升样本效率并防止训练崩溃。
看得更少，看得更准：面向多模态推理的双向感知塑形
See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning
BiPS 用「保留问题相关区域」与「抹除关键像素」两种掩码视图构造双向 KL 约束，可直接作为 VLM 微调时的训练正则项，迫使模型依赖细粒度视觉证据而非文本捷径，且不增加推理开销。
SO-Bench：多模态大语言模型的结构化输出评测
SO-Bench: A Structural Output Evaluation of Multimodal LLM
为视觉研究者提供了一个以 JSON schema 约束 MLLM 输出的评测与训练框架，可直接用于评估和提升模型在 UI、文档、图表等图像上的结构化信息抽取能力，也可作为 schema 约束解码或结构化微调的数据来源。
ReLaX：面向大型推理模型的潜空间探索推理
ReLaX: Reasoning with Latent Exploration for Large Reasoning Models
ReLaX 利用 Koopman 算子理论对 LRM 的隐藏状态动力学进行线性化建模，并提出动态谱离散度（DSD）指标来量化潜空间探索程度，为视觉-语言模型中的强化学习微调提供了一种超越词元级多样性的探索调控手段，可直接用于多模态推理任务的策略优化。
R-C2：循环一致性强化学习提升多模态推理
R-C2: Cycle-Consistent Reinforcement Learning Improves Multimodal Reasoning
用跨模态循环一致性构造无标签的密集奖励，可直接迁移到 VLM 的视觉问答与多模态推理训练中，替代投票式自一致性来抑制模态偏置。
感知证明：具备组合共形保证的可认证工具使用多模态推理
Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees
把每个感知/逻辑节点包成共形预测集，为多模态推理链提供逐步校准的不确定性，可用来决定何时追加工具调用、何时提前停止，从而抑制视觉问答中的误差累积与幻觉。
感知证据锚定的强化学习用于多模态推理
Perceptual-Evidence Anchored Reinforced Learning for Multimodal Reasoning
将视觉感知验证作为强化学习奖励的锚点，通过感知检查表生成辅助奖励来约束推理过程，可复用于任何需要提升视觉证据忠实度的VLM推理任务。
OpenMMReasoner：以开放通用方案推动多模态推理前沿
OpenMMReasoner: Pushing the Frontiers in Multimodal Reasoning with an Open and General Recipe
提供了一套透明可复现的多模态推理训练流程（SFT+RL），视觉研究者可直接复用其数据构建与训练设计来提升VLM的推理能力，或作为基线进行对比。
MovieRecapsQA：一个多模态开放式视频问答基准
MovieRecapsQA: A Multimodal Open-Ended Video Question-Answering Benchmark
对做视频理解或多模态大模型的人，这里提供了一个可复用的开放式视频问答评测协议：用「答案应包含的事实」构造无参考指标，并可在全长电影、完整回顾视频、对齐片段等不同视觉输入设定下对比模型，从而把视觉感知与视觉推理的瓶颈分开诊断。
MindPower：在基于视觉语言模型的具身智能体中实现心智理论推理
MindPower: Enabling Theory-of-Mind Reasoning in VLM-based Embodied Agents
把心智理论（ToM）推理显式嵌入 VLM 具身智能体的感知-推理-决策-行动流水线，并用 Mind-Reward 优化目标对齐推理与行为，为视觉研究者提供了一个可复用的「以机器人为中心」的推理监督与奖励设计范式。
MindDriver：面向自动驾驶的渐进式多模态推理
MindDriver: Introducing Progressive Multimodal Reasoning for Autonomous Driving
将VLM的思维链从纯文本扩展到语义理解→语义到物理空间想象→物理空间轨迹规划的多模态渐进推理，并用反馈引导的自动标注和渐进强化微调对齐推理过程，为端到端自动驾驶提供可复用的推理框架。
关联多模态大语言模型中的感知、置信度与准确率
Linking Perception, Confidence and Accuracy in MLLMs
对做多模态大模型视觉感知的人来说，这篇给出了一个可复用的思路：用原图-加噪图配对构造置信度奖励做强化学习，让模型在视觉不确定时给出校准的置信度；校准后的置信度还能直接驱动测试时扩展（自一致性/自反思/视觉自检的调度），是一种无需重训即可提升准确率的推理期手段。
从经验中学习选择视觉工具
Learning to Select Visual Tools from Experience
VisTA 将工具选择建模为强化学习问题，利用可验证奖励（RLVR）端到端训练视觉智能体，使其能根据查询动态组合工具库中的工具。对视觉研究者而言，这提供了一种无需人工标注的、经验驱动的工具编排范式，可迁移到需要多工具协同的复杂视觉推理任务（如图表理解、几何推理）。
通过数据高效强化学习激发多模态大模型的多功能视频推理能力
Incentivizing Versatile Video Reasoning in MLLMs via Data-Efficient Reinforcement Learning
对做视频多模态大模型的人，这篇给出了用多任务冷启动加多任务强化学习、再配合推理阶段多模态推理与动态采样的低成本训练配方，仅用 3k 冷启动数据与 5k RL 数据即可显著提升视频推理表现，可作为替代高成本长链语言 RL 的可复用方案。
通过理解与求解推理循环实现类人抽象视觉推理
Human-like Abstract Visual Reasoning via Understanding and Solving Reasoning Loop
把「理解模块—求解模块」的循环交互与基于一致性的自适应停止机制引入视觉推理，可作为在少样本图形规则归纳任务上替代一次性前向推理的可复用架构思路。
分层过程奖励模型是符号视觉学习器
Hierarchical Process Reward Models are Symbolic Vision Learners
用符号自编码器把图表解析成点/线/形状等结构化基元，并以分层过程奖励约束几何一致性，可替代 MLLM 的视觉编码器或直接为 LLM 提供可解释的符号解析输入，为几何/图表类视觉推理提供了一条非像素化的表征路径。
基于音视频实体凝聚与智能体搜索的层次化长视频理解
Hierarchical Long Video Understanding with Audiovisual Entity Cohesion and Agentic Search
提出层次化视频索引（全局摘要-场景-片段-实体）与智能体检索机制，可复用于长视频问答中的动态信息检索与叙事重建；音视频实体级对齐为多模态视频理解提供语义一致性约束。
GeoAgent：借助强化地理特征学习在任意地点进行地理定位
GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics
把地理相似性奖励与一致性奖励引入强化学习训练，为视觉语言模型在细粒度地理定位任务上提供可复用的奖励设计与专家标注思维链数据构建思路。
GThinker：通过线索引导重思考迈向通用多模态推理
GThinker: Towards General Multimodal Reasoning via Cue-Guided Rethinking
提出「视觉惯性」问题并设计线索引导的重思考机制，可被视觉推理模型复用，用于缓解模型对初始视觉感知的过度自信，提升复杂视觉问答的可靠性。
FantasyVLN：面向视觉语言导航的统一多模态思维链推理
FantasyVLN: Unified Multimodal Chain-of-Thought Reasoning for Vision-and-Language Navigation
把想象出的视觉观测用预训练 VAR 编码进紧凑潜空间，使多模态思维链推理不再产生大量词元开销，从而在推理时直接做指令到动作的映射；这套「隐式推理表征」思路可迁移到任何需要推理但受延迟约束的视觉-语言-动作任务。
EvoGraph-R1：面向智能体检索的自演化多模态知识超图
EvoGraph-R1: Self-Evolving Multimodal Knowledge Hypergraphs for Agentic Retrieval
把多模态知识图谱当作可被智能体动作（检索/扩展/编辑/终止）动态改写的环境，用 MDP 闭环驱动超图演化，为视觉问答中的多跳跨模态检索与可追溯推理提供了可复用的框架。
EduDiag：面向大型多模态模型错误追踪与纠正的教育诊断推理基准
EduDiag: A Benchmark for Educational Diagnostic Reasoning with Error Tracing and Correction on Large Multimodal Models
该论文提出的教育诊断推理任务要求LMM从错误答案逆向重建错误推理链并生成纠正反馈，为多模态推理评估提供了新方向；其构建的8K错误推理链数据集和GRPO优化策略可复用于提升视觉语言模型的推理与纠错能力。
Diagram2Structure：通过 DiagramDiff 解锁大语言模型的图表理解能力——一个面向离线图表结构化的框架
Diagram2Structure: Unlocking LLMs' Diagram Comprehension through DiagramDiff, a Framework for Structuring Offline Diagrams
把离线图表图像重建为标准化结构化数据（元素实例+关系），再交给 LLM 做语义推理与编辑，为视觉-语言模型处理结构化图形提供了一条「先结构化、后推理」的可复用管线，也给出了图表重建与元素识别的评测设定。
DiGraphHal-Bench：评估多模态大语言模型在复杂有向图上的表现
DiGraphHal-Bench: Evaluating Multimodal Large Language Models on Complex Directed Graphs
该论文提出的有向图VQA基准和两阶段自动数据整理流程，可用于评估和提升多模态大模型在结构化视觉信息（如图表、流程图）上的细粒度推理与幻觉抑制能力，为视觉-语言模型在复杂图结构理解方向提供可复用的评测方法和数据构建思路。
解耦以泛化：面向数据稀缺视觉语言推理的上下文优先自进化学习
Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning
把 RL 后训练中的奖励信号按「理解上下文」与「解题」两个角色解耦，并配合迭代演化的种子题池做课程学习，可直接迁移到视觉推理类 VLM 的数据稀缺微调场景，缓解奖励黑客与策略熵坍塌。
CARE 何为失败：面向可验证多模态推理的对比锚定反思
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal Reasoning
对做多模态推理后训练的人，CARE 给出了一套把「全错批次」和「接近正确」的 rollout 转成对比监督的具体配方：锚定对比目标 + 组内 z-score 归一化 + 全负样本救援，可直接替换 GRPO 的损失项；RGR 的单样本结构化自修复则提供了一种无需测试时反思就能把近失样本转成正样本的重采样策略。
通过激活重放提升大型多模态模型的推理能力
Boosting Reasoning in Large Multimodal Models via Activation Replay
提出一种无需训练的测试时干预方法：通过操纵视觉 token，将基座 LMM 的低熵激活重放到 RLVR 后训练的 LMM 中，以提升多模态推理性能。该方法可复用于任何基于 RLVR 微调的视觉语言模型，以缓解推理覆盖变窄的问题。
超越逐层合并：面向视觉语言模型的链式合并
Beyond Layer-Wise Merging: Chain-of-Merging for Vision-Language Models
为视觉研究者提供一种免训练的参数级融合手段：把数学/推理专精的 LLM 参数按结构+语义匹配分数自适应地注入 VLM 的不同层，可在不重训的情况下提升 VLM 的数学推理与通用视觉理解，适合作为多模态模型能力扩展的轻量后处理方案。
像苏格拉底一样提问：Socrates 帮助视觉语言模型理解遥感图像
Asking like Socrates: Socrates helps VLMs understand remote sensing images
提出「证据链式思维」RS-EoT 范式与 SocraticAgent 自博弈多智能体合成推理轨迹，并用两阶段渐进式强化学习（先细粒度视觉定位、后 VQA）训练 VLM；对做视觉推理、视觉定位与遥感 VQA 的研究者，这是一套可复用的「推理—回看图像」迭代训练流程，可直接迁移到高分辨率或大场景图像理解任务。
锚定多模态推理器的心智：认知偏差作为越狱攻击的向量
Anchoring the Mind of Multimodal Reasoners: Cognitive Bias as a Vector for Jailbreak Attacks
提出利用认知锚定效应构造跨模态安全锚点（结构化视觉思维导图）来诱导多模态大模型推理链，为视觉安全对齐与越狱防御提供了新的攻击面与评测思路。
AV-Reasoner：面向多模态大模型的线索锚定音视频计数能力改进与基准构建
AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs
对做视频多模态推理的人，这篇提供了两点可复用：一是用 GRPO + 课程学习把相关任务（如时序定位、事件定位）的能力迁移到计数这类稀疏监督任务上；二是 CG-AV-Counting 的黑盒/白盒双协议评测，可作为检验模型推理链是否真正依赖视觉线索的测试床。
ARM-Thinker：通过智能体工具使用与视觉推理强化多模态生成式奖励模型
ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning
提出了一种可自主调用外部工具（如图像裁剪、文档检索）的多模态奖励模型，通过多阶段强化学习联合优化工具调用决策与判断准确性，为视觉语言模型的奖励建模提供了可验证证据和可解释性，可复用于需要细粒度视觉验证的视觉语言任务。