Tag · 53 篇
思维链
视觉感知思维链:在统一模型中实现高保真视觉一致性
Visual-Aware CoT: Achieving High-Fidelity Visual Consistency in Unified Models
将视觉一致性显式纳入统一模型的推理过程,通过自适应视觉规划生成检查清单,并利用迭代视觉修正与流式GRPO强化学习提升多参考生成中的视觉保真度,为可控生成提供了可复用的自反思框架。
VideoAuto-R1:思考一次、回答两次的视频自动推理
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
提出「按需推理」机制:用初始答案的置信度决定是否触发思维链,可直接迁移到视频问答、视觉定位等 VLM 推理流程中,在几乎不掉点的前提下把平均输出长度压缩 3.3 倍,是降低多模态大模型推理延迟的可复用策略。
ViRC:通过推理分块增强视觉交错数学思维链
ViRC: Enhancing Visual Interleaved Mathematical CoT with Reason Chunking
提出 Reason Chunking 机制,将多模态数学思维链结构化为关键推理单元(CRU),并在单元间动态调用视觉工具获取图像信息,为视觉语言模型在需要反复查看图像的推理任务中提供了可复用的分块推理与渐进训练范式。
U-Mind:面向实时多模态交互与视听生成的统一框架
U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation
论文提出以文本优先的思维链规划驱动语音、动作和视频的同步生成,并实现基于姿态与语音条件的实时视频渲染,为视觉研究者提供了将语言推理与视频生成闭环结合的可复用框架。
面向稀疏视频理解与推理
Towards Sparse Video Understanding and Reasoning
把「选哪些帧」变成多轮推理中的可学习决策:用对话历史作记忆、跨轮维护思维链、自纠错保证结构有效,可直接套到任意 VLM 的视频输入前端,替代均匀采样以在更少帧下提升 VQA 准确率。
面向推理保持的多模态大语言模型遗忘
Towards Reasoning-Preserving Unlearning in Multimodal Large Language Models
提出一种无需训练、在推理时通过子空间引导和自适应转向来遗忘答案与推理痕迹的方法,可复用于多模态大模型的安全对齐与隐私保护,同时保持通用推理能力。
边看边想:面向大型视觉语言模型的流式思维链推理
Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models
把视频 LVLM 的思维链从「看完再想」改成「边看边想」,用流式注意力掩码、位置编码和并行 KV 缓存实现帧到达即推理,可直接迁移到任何需要低延迟视频问答或在线视频理解的视觉语言模型上。
先思考,再验证:面向长视频理解的假设验证多智能体框架
Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding
将长视频问答重构为「先提出可检验假设、再定位证据验证」的多智能体流程,为视觉语言模型处理长视频时抑制语义漂移和相关性错误提供了一种可复用的推理范式。
驾驶前先思考:受世界模型启发的多模态视觉定位
Think Before You Drive: World Model-Inspired Multimodal Grounding
将世界模型的未来潜状态推演引入视觉定位,用命令感知的潜变量序列为歧义指令提供前瞻线索,这一「先推演后定位」的范式可迁移到任何需要空间关系推理的视觉-语言任务。
TerraScope:面向地球观测的像素级视觉推理
TerraScope: Pixel-Grounded Visual Reasoning for Earth Observation
把像素级掩码嵌入推理链,让 VLM 在输出答案的同时给出可验证的分割证据,这一「推理链内嵌掩码」的监督构造方式可迁移到需要空间定位的视觉问答与指代任务;其光学/SAR 自适应融合与多时相序列建模也为遥感 VLM 提供了可复用的输入组织范式。
SegCompass:利用稀疏自编码器探索可解释对齐以增强推理分割
SegCompass: Exploring Interpretable Alignment with Sparse Autoencoders for Enhanced Reasoning Segmentation
用稀疏自编码器将思维链与视觉 token 映射到共享稀疏概念空间,为推理分割提供可解释、可微的对齐路径,可复用于需要透明推理的视觉-语言任务。
Score2Instruct:通过自动维度评分扩展以视频质量为中心的指令
Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring
提出基于自动维度评分的指令生成流水线(SIG),将无标注视频的多维质量分数映射为文本等级并构造分层思维链,为视频 LMM 提供可扩展的质量指令数据;其渐进式微调策略与 S2I-Bench 可直接用于评估和提升视频 LMM 的质量评分与解释能力。
STAR-R1:通过强化多模态大模型实现多视图空间变换推理
STAR-R1: Multi-View Spatial TrAnsformation Reasoning by Reinforcing Multimodal LLMs
把可验证奖励的强化学习(RLVR)与过程监督 SFT 两阶段结合,用于多视图空间变换推理;其「指代感知奖励」设计可直接迁移到需要跨视图物体对应的 VLM 空间理解任务(如 MMSI-Bench、MindCube 类基准)。
重新审视以视觉为中心的推理泛化中长思维链的必要性
Revisiting the Necessity of Lengthy Chain-of-Thought in Vision-centric Reasoning Generalization
对做视觉推理 SFT 数据构造的人有直接指导:不必堆长 CoT 或图像操作式 CoT,只保留关键视觉定位步骤的极简 CoT 反而在不同难度(网格尺寸)上泛化最好,可作为构建可泛化视觉推理训练数据的默认策略。
强化视频目标分割在分割之前先思考
Reinforcing Video Object Segmentation to Think before it Segments
把 GRPO 强化学习与思维链初始化引入视频推理分割,用整体奖励同时约束空间对齐与时序一致性;对做指代分割或视频 grounding 的研究者,这是一套可直接迁移的「先推理再出掩码」训练范式,也提供了抑制 LVLM 幻觉的奖励设计思路。
强化结构化思维链以提升视频理解
Reinforcing Structured Chain-of-Thought for Video Understanding
提出无需 SFT 的单阶段强化学习框架 SDRL,用「总结-思考-回答」结构化思维链和两个自监督机制(CVK 约束视觉事实一致性、DVR 按组准确率调节推理多样性)来抑制视频推理中的思维漂移;做视频 MLLM 推理增强的工作可直接复用该 GRPO 目标改造思路。
ReaGEN:面向高效多模态推理的自适应结构化思维链生成
ReaGEN: Adaptive Generation of Structured Chains-of-Thought for Efficient Multimodal Reasoning
对做多模态推理的视觉研究者,这篇给出了一个可复用的思路:用 VLM 内部注意力信号衡量推理各阶段的重要性,并训练一个轻量生成器动态产出问题自适应的思维链结构,从而以单路径开销获得多路径搜索的灵活性;可直接嵌入自托管 LVLM 的推理流程以替代昂贵的测试时搜索。
R-4B:通过双模式退火与强化学习激发多模态大模型中的通用自动思考
R-4B: Incentivizing General-Purpose Auto-Thinking in MLLMs via Bi-Mode Annealing and Reinforce Learning
为视觉语言模型引入「按输入复杂度自动决定是否展开逐步推理」的双模式机制,配合双 rollout 强化学习策略,可直接迁移到需要兼顾精度与推理成本的 VQA、图文推理等视觉任务部署中。
PixDLM:面向无人机推理分割的双路径多模态语言模型
PixDLM: A Dual-Path Multimodal Language Model for UAV Reasoning Segmentation
把思维链问答监督与像素级分割输出耦合进一个多模态语言模型,为高分辨率斜视无人机影像提供可复用的推理分割基线;其按空间、属性、场景三级组织语义需求的思路,可直接迁移到其他需要复杂推理的开放词表分割设定。
OralGPT-Omni:一种多功能的牙科多模态大语言模型
OralGPT-Omni: A Versatile Dental Multimodal Large Language Model
构建了牙科领域的思维链数据集 TRACE-CoT 和统一多模态基准 MMOral-Uni,其四阶段训练范式可迁移到其他医学影像的 VLM 微调中,为领域专用 MLLM 的可靠性评估提供了可复用的数据构造与评测思路。
OneThinker:面向图像与视频的一体化推理模型
OneThinker: All-in-one Reasoning Model for Image and Video
把图像与视频的问答、描述、空间/时序定位、跟踪、分割统一进一个 MLLM,并用 EMA-GRPO 处理多任务 RL 的奖励异质性,为做统一视觉推理模型的人提供了可复用的多任务 RL 平衡策略与跨任务知识迁移证据。
OmniVTG:面向开放世界视频时序定位的大规模数据集与训练范式
OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding
提出自校正思维链训练范式,让多模态大模型先预测再反思修正,可迁移到其他需要精确定位的视觉语言任务;同时发布大规模开放世界视频时序定位数据集,为后续研究提供基准。
OctoNav:迈向通用具身导航
OctoNav: Towards Generalist Embodied Navigation
把 MLLM 改造成仅凭 2D 视觉观测输出低层动作的 VLA 模型,并用 TBA-CoT 数据加 GRPO 做「先思考后行动」的强化学习训练,为视觉研究者提供了将推理链注入具身导航策略的可复用范式。
MindDriver:面向自动驾驶的渐进式多模态推理
MindDriver: Introducing Progressive Multimodal Reasoning for Autonomous Driving
将VLM的思维链从纯文本扩展到语义理解→语义到物理空间想象→物理空间轨迹规划的多模态渐进推理,并用反馈引导的自动标注和渐进强化微调对齐推理过程,为端到端自动驾驶提供可复用的推理框架。
模仿人类认知,掌握多图推理:一种增强视觉理解的元动作框架
Mimic Human Cognition, Master Multi-Image Reasoning: A Meta-Action Framework for Enhanced Visual Understanding
把多图/多帧推理拆成 Global/Focus/Hint/Think/Answer 五个元动作,并用检索式树采样构造冷启动轨迹、再用两阶段强化学习(多样性保持探索 + DAPO 退火利用)训练,可直接迁移到需要跨图跨帧聚合证据的视觉语言任务上。
Meta-CoT:提升图像编辑的粒度与泛化能力
Meta-CoT: Enhancing Granularity and Generalization in Image Editing
Meta-CoT 将任意图像编辑操作分解为(任务、目标、所需理解能力)三元组,并进一步拆解为五个元任务,配合思维链一致性奖励,使模型在少量元任务训练后即可泛化到未见编辑任务;该分解思路可直接用于构建更细粒度的编辑指令数据与训练策略。
MMTIT-Bench:一个面向认知-感知-推理引导的文本图像机器翻译的多语言多场景基准
MMTIT-Bench: A Multilingual and Multi-Scenario Benchmark with Cognition-Perception-Reasoning Guided Text-Image Machine Translation
为视觉语言大模型在图像内文本翻译任务上提供了多语言、多场景的评测基准,并提出将场景认知、文本感知与翻译推理统一进思维链的数据范式,可直接迁移到其他需要视觉定位与语言生成联合推理的 VLLM 任务。
在图像编辑中利用基于验证器的强化学习
Leveraging Verifier-Based Reinforcement Learning in Image Editing
提出基于思维链的推理奖励模型(RRM)作为图像编辑的通用奖励,并用GRPO微调编辑模型,为视觉生成中的RLHF提供可解释、细粒度的奖励设计思路。
通过合成视频学习可迁移的时序基元用于视频推理
Learning Transferable Temporal Primitives for Video Reasoning via Synthetic Videos
该工作表明,用程序化生成的合成视频(简单几何形状)训练 VLM 的时序基元(方向、速度、状态跟踪),能有效迁移到真实视频理解任务,为视频后训练提供了一条低成本、可扩展的数据构造路径。
HoneyBee:面向视觉语言推理器的数据配方
HoneyBee: Data Recipes for Vision-Language Reasoners
论文系统研究了视觉语言推理数据集的构建策略,包括上下文来源、数据干预和维度扩展,并提出了测试时扩展方法,可直接用于构建高质量多模态推理训练数据。
HUMORCHAIN:面向可解释多模态幽默生成的理论引导多阶段推理
HUMORCHAIN: Theory-Guided Multi-Stage Reasoning for Interpretable Multimodal Humor Generation
把幽默理论中的认知结构显式嵌入多阶段推理链,用于视觉到语言的生成;其「视觉语义解析→理论引导推理→判别器打分」的可解释链条可迁移到需要认知深度或风格化表达的图像描述与多模态生成任务。
HSI-GPT2:面向人-场景交互的双粒度大运动推理模型与扩散精炼
HSI-GPT2: A Dual-Granularity Large Motion Reasoning Model with Diffusion Refinement for Human-Scene Interaction
提出双粒度运动分词器与扩散解码器,将LLM的深层语义转化为物理合理的人体运动,为3D场景中的人-场景交互生成提供了可复用的运动表示与解码方案。
面向多模态大语言模型的接地思维链
Grounded Chain-of-Thought for Multimodal Large Language Models
提出 Grounded Chain-of-Thought 任务与 MM-GCoT 基准,要求 MLLM 在逐步推理中显式输出视觉线索的 grounding 坐标,并引入答案-定位一致性指标,可用于诊断和缓解多模态模型在视觉空间推理中的幻觉问题。
基于视觉定位的3D感知空间视觉语言建模
Grounded 3D-Aware Spatial Vision-Language Modeling
把「生成时插入区域 token」的隐式视觉定位与区域提示的单目 3D 框预测结合,可作为 VLM 空间推理的可复用范式:在解码过程中动态引用视觉证据,并用内参感知归一化与稠密几何监督把 2D 定位升级为 3D 推断。
GeoCoT:面向可靠遥感推理的流形视角方法
GeoCoT: Towards Reliable Remote Sensing Reasoning with Manifold Perspective
提出基于局部流形映射的稀疏专家路由机制,可复用于视觉语言模型的多任务适配,降低高维视觉token冗余;同时引入RSV-GRPO强化结构化推理训练,为遥感视觉语言模型提供可借鉴的优化策略。
从规模到速度:面向图像编辑的自适应测试时扩展
From Scale to Speed: Adaptive Test-Time Scaling for Image Editing
把测试时扩展(Image-CoT)从 T2I 迁移到图像编辑时,可用「编辑难度估计→动态采样预算」+「区域定位与描述一致性做早期剪枝」+「实例级验证器驱动的深度优先提前停止」三件套,在 Step1X-Edit、BAGEL、FLUX.1 Kontext 上以同等采样预算换 2 倍以上加速,是可直接复用的推理期加速与筛选框架。
从直觉到探究:面向可泛化人脸反欺骗的工具增强推理多模态大模型框架
From Intuition to Investigation: A Tool-Augmented Reasoning MLLM Framework for Generalizable Face Anti-Spoofing
把外部视觉工具(如放大、局部裁剪等细粒度分析算子)接入 MLLM 的推理链,并用 GRPO 类强化学习让模型自主决定何时调用工具,这一「工具增强思维链」范式可直接迁移到需要细粒度视觉证据的检测/鉴伪任务。
增强视频视觉语言模型的海马体感知
Enhancing Video Vision Language Model with Hippocampal Sensing
提出跨模态预测感知范式与对比强化学习算法 VANAO,可借鉴用于视频-音频联合推理与选择性信息获取,提升视频 VLM 的推理效率与准确性。
EgoMind:通过语言推理激活多模态大语言模型的空间认知
EgoMind: Activating Spatial Cognition through Linguistic Reasoning in MLLMs
提出一种无需3D几何先验的纯语言思维链框架,通过角色扮演描述构建跨帧语言场景图,并渐进式分析空间问题,为视觉语言模型中的空间推理提供了可复用的提示与训练策略。
EagleVision:基于鸟瞰图视觉定位思维链的双阶段空间智能框架
EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence
提出基于鸟瞰图(BEV)的主动视角选择与空间思维链推理框架,可复用于需要多视角几何推理的视觉语言任务,如具身导航与三维场景理解。
EMO-R3:面向多模态大模型情感推理的反思式强化学习
EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models
把可验证的反思式奖励(视觉-文本一致性 + 情感连贯性)接进 GRPO 类强化学习流程,为视觉-语言模型在主观、难以标注的任务上提供了一条可复用的训练范式;结构化思维链模板也可迁移到其他需要可解释推理的视觉理解任务。
扩散引导的链式视觉:面向大型自回归视觉模型
Diffusion Guided Chain-of-Vision for Large Autoregressive Vision Models
把预训练扩散模型的概率流当作无需任务标注的中间视觉推理步骤,为纯视觉自回归模型提供链式视觉监督;做视觉上下文学习或多步视觉推理时,可复用这一「沿扩散轨迹采样中间图作为推理链」的思路,而不必依赖文本 CoT。
D3D-VLP:面向具身视觉定位与导航的动态三维视觉-语言-规划模型
D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation
把规划、视觉定位、导航与问答统一进单个 3D-VLM 的 3D 思维链管线,并用掩码自回归损失从部分标注的混合数据中互相隐式监督,对做具身导航与 3D 场景理解的人提供了一个可复用的多任务联合训练范式。
直击要点:基于事件链的免训练多模态摘要
Cut to the Chase: Training-free Multimodal Summarization via Chain-of-Events
把分层事件图当作免训练的结构化推理骨架,为视频-文本-图像融合提供显式的跨模态视觉定位与时序事件转移建模,可复用于视频问答、视频描述等需要事件级时序推理的视觉-语言任务。
Chart-FR1:面向稠密图表的视觉聚焦驱动细粒度推理
Chart-FR1: Visual Focus-Driven Fine-Grained Reasoning on Dense Charts
Focus-CoT 把推理步骤显式锚定到局部图像区域与 OCR 信号上,配合带信息效率奖励的 Focus-GRPO 压缩冗余视觉 token,这套「视觉聚焦+自适应推理深度」的机制可直接迁移到文档、图表、密集标注场景的多模态推理,也为视觉 token 冗余问题提供了 RL 层面的解法。
思维链引导的多模态目标重识别
Chain-of-Thought Guided Multi-Modal Object Re-Identification
把 MLLM 的思维链文本推理作为锚框条件,在早期特征、跨模态一致性和决策三个层级约束视觉特征学习,为视觉-语言检索类任务提供了一种可复用的「文本逻辑引导视觉表征」范式。
面向物理合理视频生成的以事件为中心的因果思维链
Chain of Event-Centric Causal Thought for Physically Plausible Video Generation
把物理现象拆成因果相连的事件单元,再用思维链加物理公式约束推理,并转成时序对齐的视觉-语言提示与关键帧,为视频扩散模型提供可复用的因果进展条件注入方式,可直接迁移到需要长时序物理一致性的视频生成任务。
第二视角图像能否充当一种语言?面向 X 射线违禁品检测的几何与语义跨模态推理
Can a Second-View Image Be a Language? Geometric and Semantic Cross-Modal Reasoning for X-ray Prohibited Item Detection
把第二视角图像当作「类语言模态」与文本语义联合对齐,并用结构化思维链(top→side→conclusion)组织跨视角几何与跨模态语义的推理,这一设定可迁移到任何多视角+文本的检测或问答任务中。
CME-CAD:面向 CAD 代码生成的异构协同多专家强化学习
CME-CAD: Heterogeneous Collaborative Multi-Expert Reinforcement Learning for CAD Code Generation
把 CAD 建模转成可执行的 CADQuery 代码生成,并用多专家协同的强化学习范式提升精度与可编辑性;对视觉研究者而言,它提供了从正交投影图到参数化三维模型的代码化重建路线,以及带精确尺寸标注与思维链的 17,299 条基准,可用于评测图像到可编辑三维结构的生成。
超越弱监督:多模态大语言模型引导的分级知识蒸馏用于无监督伪装目标检测
Beyond Weak Supervision: MLLMs-Guided Graded Knowledge Distillation for Unsupervised Camouflaged Object Detection
提出利用多模态大语言模型(MLLM)结合思维链生成高质量伪标签,并通过分级知识蒸馏训练学生网络,为无监督密集预测任务提供了一种可复用的弱监督替代方案。
AutoTraces:基于多模态大语言模型的自回归轨迹预测
AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models
把连续物理坐标离散化为 token 接入 LLM 自回归解码,并用多模态 LLM 自动生成时空推理思维链,这套「坐标分词 + 自动 CoT」可迁移到人体轨迹预测、视觉导航等需要输出连续几何序列的视觉任务。
Act2See:面向视频推理的涌现式主动视觉感知
Act2See: Emergent Active Visual Perception for Video Reasoning
把「取帧/生成帧」作为可学习的动作嵌入文本思维链,让 VLM 在推理过程中自主决定何时检索真实帧、何时合成反事实帧;这一「主动视觉感知」范式可直接迁移到需要多步视觉证据获取的视频问答与长视频理解任务。
A3:迈向广告美学评估
A3: Towards Advertising Aesthetic Assessment
论文提出的 A3-Law 分层美学评估范式与思维链引导的多模态大模型训练方法,可迁移至图像美学评估、广告创意生成等视觉任务,为视觉语言模型提供可解释的细粒度评价能力。