Tag · 36 篇
思维链推理
VideoRealBench:面向生成式人类中心视频的思维链真实性评估基准
VideoRealBench: A Chain-of-Thought Realism Evaluation Benchmark for Generated Human-Centric Videos
为生成视频的真实性评估提供了带思维链推理的细粒度标注数据集和可解释评估器,视觉研究者可将其用于诊断视频生成模型在人体视频上的真实性缺陷,或借鉴其三步推理标注范式构建其他生成任务的评估基准。
Video-CoE:通过事件链强化视频事件预测
Video-CoE: Reinforcing Video Event Prediction via Chain of Events
论文提出的 Chain of Events 范式通过构建时序事件链来隐式引导 MLLM 关注视觉内容与事件间的逻辑关联,这种将推理链结构嵌入视频时序建模的思路,可迁移到视频问答、动作预测等需要细粒度时序推理的视觉任务中。
Venus:面向美学指导与裁剪的多模态大语言模型基准构建与能力增强
Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping
把「美学指导」定义为一个可评测的 MLLM 能力,并用两阶段(渐进式美学问答 + CoT 理由)微调把该能力迁移到裁剪重构图任务上,可作为条件化生成/编辑中「可解释美学先验」的可复用范式。
UniVerse:以推理与知识赋能统一生成
UniVerse: Empower Unified Generation with Reasoning and Knowledge
把「隐式提示→推理链→显式提示」的三元组监督引入统一多模态模型的 T2I 训练,为视觉研究者提供了一条用中间推理链提升生成模型组合性与知识性的可复用数据构造与训练范式。
TiViBench:面向视频生成的视频内推理评测基准
TiViBench: Benchmarking Think-in-Video Reasoning for Video Generation
为图像到视频生成模型提供了一套分层推理评测协议(4 个维度、24 个任务、3 个难度),并给出无需额外训练或奖励模型的测试时偏好优化策略 VideoTPO,可直接迁移到其他生成模型的推理增强与选优环节。
边生成边思考:在视觉生成过程中交错嵌入文本推理
Thinking-while-Generating: Interleaving Textual Reasoning throughout Visual Generation
把文本推理链交错插入到视觉生成的时间轴上,让模型在生成局部区域时同步进行引导与反思;这一「边生成边推理」的调度方式可直接迁移到自回归图像生成、视频生成以及可控生成的条件注入设计中。
思考扩散:惩罚与引导扩散多模态语言模型中的视觉定位推理
Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models
针对扩散多模态大模型在思维链推理中过早生成答案且视觉定位不足的问题,提出位置与步数惩罚(PSP)和视觉推理引导(VRG),可复用于其他并行生成式多模态模型的推理增强。
ThinkGen:面向视觉生成的泛化思维
ThinkGen: Generalized Thinking for Visual Generation
把 MLLM 的思维链推理作为扩散生成的指令来源,并用可分离的 GRPO 交替训练 MLLM 与 DiT,为视觉生成提供了一条可跨场景泛化的「先推理后生成」训练范式,可直接迁移到文生图、指令式编辑等条件生成任务。
先思考再生成:面向一致性3D生成的结构化思维链推理
Think-Then-Generate: Structural Chain-of-Thought Reasoning for Consistent 3D Generation
把思维链式推理引入文本到3D生成:先用文本语义解析做结构规划,再用多视图渲染结果评估潜变量不一致并多轮迭代修正,可直接迁移到任何基于2D扩散先验的3D生成管线以抑制多视图幻觉。
TV2TV:面向交错语言与视频生成的统一框架
TV2TV: A Unified Framework for Interleaved Language and Video Generation
把视频生成拆成交错的文本推理与视频流匹配两步,用 Mixture-of-Transformers 让语言塔决定「接下来发生什么」、视频塔负责出帧,可直接借鉴到需要长程语义分支的视频生成与推理时文本干预控制。
TRM-VLA:面向视觉-语言-动作模型的时序感知思维链推理与记忆
TRM-VLA: Temporal-Aware Chain-of-Thought Reasoning and Memorization for Vision-Language-Action Models
TRM-VLA 将时序感知的思维链推理与记忆机制引入 VLA 模型,其关键帧触发推理(KTR)和粒度自适应上下文记忆(GCM)可被视觉研究者复用于需要长程规划与实时执行的机器人操作任务,为视觉-语言-动作模型的推理效率与一致性提供新思路。
SurgCoT:通过思维链基准推进手术视频中的时空推理
SurgCoT: Advancing Spatiotemporal Reasoning in Surgical Videos through a Chain-of-Thought Benchmark
提供了一个带结构化思维链标注(问题-选项-知识-线索-答案)的手术视频时空推理基准,可用于诊断多模态大模型在因果动作排序、线索-动作对齐、可供性映射等细粒度时序环节上的失效点,并作为逐步推理评测协议的模板迁移到其他视频理解任务。
看见、说出、理清:面向 LVLM 视觉接地多模态推理的迭代式免训练框架
See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs
提出一种免训练、即插即用的测试时逐步视觉证据监督机制:构建文本化视觉证据池,并用视觉决策模块按推理上下文动态补充证据,可直接套用到任意 LVLM 骨干上抑制多模态思维链中的视觉幻觉传播,无需 RL 微调。
以多模态基础模型扩展空间智能
Scaling Spatial Intelligence with Multimodal Foundation Models
该工作系统构建了800万空间能力数据并微调多模态基础模型,为视觉研究者提供了可复用的空间智能训练数据构建范式与评测基准,同时揭示了数据缩放对空间推理泛化能力的影响。
SafeGRPO:通过规则约束的策略优化实现自奖励多模态安全对齐
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization
对做多模态大模型安全对齐的研究者,这篇给出了可复用的配方:用带视觉/文本/组合安全标签的数据集构造规则化可验证奖励,再接入 GRPO 做自奖励强化学习,并配合分步安全思维链约束推理轨迹;可直接迁移到其他 VLM 的安全微调或推理时风险感知训练。
Refer-Agent:面向指代视频目标分割的推理与反思协同多智能体系统
Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation
把 RVOS 拆成由 MLLM 驱动的多智能体逐步推理流程,用 Questioner-Responder 反思链校验中间结果并回灌下一轮推理,配合由粗到细的帧选择与动态视觉焦点布局;这套无需微调即可接入新 MLLM 的推理框架,可直接迁移到视频问答、时序定位等需要跨帧证据聚合的视觉-语言任务。
基于视觉语言模型的循环推理用于估计长时程具身任务进度
Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress
提出循环推理框架,用不断演化的思维链(CoT)记录任务分解与完成状态,迭代处理局部视频片段,避免长视频的高计算成本,为视觉语言模型在长时序视频推理中提供可复用方案。
ReasonEdit:面向推理增强的图像编辑模型
ReasonEdit: Towards Reasoning-Enhanced Image Editing Models
把冻结的 MLLM 编码器解锁为可推理模块,用「思考—编辑—反思」循环让模型理解抽象指令并自动纠错,为指令式编辑提供了一条不依赖更多配对数据、而靠推理提升精度的可复用范式。
Re-Align:面向上下文图像生成与编辑的结构化推理引导对齐
Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing
将结构化思维链推理与强化学习结合,用于对齐多模态模型的理解与生成能力,可复用于需要精确遵循图文交错指令的图像生成与编辑任务。
解析、搜索与确认:基于思维链推理与结构化空间记忆的免训练航拍视觉对话导航
Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory
把免训练 MLLM 的导航能力拆成「解析指令—搜索探索—确认验证」三段思维链,并配一个融合多尺度观测、视觉记忆与几何记忆的结构化空间记忆,可直接迁移到任何需要长时程空间推理的视觉语言任务(如视觉定位、具身导航)。
Omni-MMSI:面向身份归属的社交交互理解
Omni-MMSI: Toward Identity-attributed Social Interaction Understanding
论文提出从原始音视频与语音中联合感知「谁说了什么、指向谁」的身份归属线索,并在此基础上做思维链社交推理;对视觉研究者而言,可复用其参与者级参考对构建方式与参考引导的多模态推理流程,用于需要身份绑定的多人视频理解任务。
Nano-EmoX:从感知到共情的多模态情感智能统一
Nano-EmoX: Unifying Multimodal Emotional Intelligence from Perception to Empathy
对做视觉研究的人而言,可复用点在于用异构适配器把面部编码器、融合编码器等全模态编码器输出投影进统一语言空间,并以课程式训练(先对齐快速感知、再引入思维链推理)让轻量语言模型同时处理多任务;这套「编码器+适配器+课程」的范式可直接迁移到面部表情、情感识别等视觉任务的多任务统一建模。
MMR-AD:面向多模态大语言模型通用异常检测基准的大规模多模态数据集
MMR-AD: A Large-Scale Multimodal Dataset for Benchmarking General Anomaly Detection with Multimodal Large Language Models
提供了一个面向多模态大语言模型通用异常检测的大规模训练与评测基准,并给出基于思维链和强化学习的基线模型 Anomaly-R1,可作为视觉研究者探索 MLLM 在工业异常检测中后训练与推理增强的起点。
LongVideo-R1:面向低成本长视频理解的智能导航
LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding
把长视频问答建模为「由粗到细的主动片段导航」:用层级视觉摘要作为推理起点,让 MLLM 智能体逐步定位信息量最大的片段,并在信息足够时提前停止,从而在低算力预算下完成长视频理解;其两阶段 SFT+RL 训练与奖励设计可直接迁移到其他需要选择性采样的视觉-语言任务。
从历史到未来:以经验与思考演化智能体实现零样本视觉语言导航
History to Future: Evolving Agent with Experience and Thought for Zero-shot Vision-and-Language Navigation
把 LLM 的未来动作/地标预测(F-CoT)与历史轨迹经验总结(H-CoE)组合成可演化的零样本导航决策回路,可直接迁移到视觉导航、具身探索等需要在线纠错的序列决策任务中。
利用多模态大语言模型中的思维链推理进行人脸活体检测
Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing
将思维链视觉问答引入人脸活体检测,用 MLLM 的视觉-语言联合推理替代单一视觉模态判别,并给出可复用的 CoT VQA 数据集构建与渐进式训练策略,可直接迁移到其他需要细粒度真伪判别的视觉任务。
GeoAgent:借助强化地理特征学习在任意地点进行地理定位
GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics
把地理相似性奖励与一致性奖励引入强化学习训练,为视觉语言模型在细粒度地理定位任务上提供可复用的奖励设计与专家标注思维链数据构建思路。
油量表:在大规模多模态模型中提前估计思维链长度
Fuel Gauge: Estimating Chain-of-Thought Length Ahead of Time in Large Multimodal Models
对做多模态大模型推理部署的人,这篇给出了一个在生成前预测思维链长度的隐变量信号,可直接用于预分配 KV cache 以缓解显存碎片,也可作为自适应推理长度控制(避免过思考/欠思考)的调度依据。
从手册到动作:面向思维链手册生成与机器人操作统一视觉-语言-动作模型
From Manuals to Actions: A Unified VLA Model for Chain-of-Thought Manual Generation and Robotic Manipulation
把多模态手册(图像+视觉提示+文本)作为中间表示,经 ManualCoT 注入动作专家,为长程操作任务提供显式控制条件与隐式潜变量引导;其基于 3D 高斯泼溅的数字孪生数据自动生成管线,可用于低成本扩充机器人操作训练数据。
FireScope:以思维链预言机进行野火风险栅格预测
FireScope: Wildfire Risk Raster Prediction With a Chain-of-Thought Oracle
把 VLM 的思维链推理作为生成式空间预测的中间监督,用强化学习加视觉监督联合训练,让语言推理轨迹提升栅格生成的跨大陆泛化——这套「推理到生成」的范式可迁移到其他需要多源遥感输入与连续场输出的视觉任务。
FantasyVLN:面向视觉语言导航的统一多模态思维链推理
FantasyVLN: Unified Multimodal Chain-of-Thought Reasoning for Vision-and-Language Navigation
把想象出的视觉观测用预训练 VAR 编码进紧凑潜空间,使多模态思维链推理不再产生大量词元开销,从而在推理时直接做指令到动作的映射;这套「隐式推理表征」思路可迁移到任何需要推理但受延迟约束的视觉-语言-动作任务。
EmoThinker:通过结构化词元选择与思维链推理推进视觉-声学情感分析
EmoThinker: Advancing Visual-Acoustic Emotion Analysis via Structural Token Selection and Chain-of-Thought Reasoning
其结构化词元选择机制可迁移到任意视觉-语言任务中做显著区域筛选与背景上下文精炼,而构建的思维链标注范式为多模态推理数据构造提供了可复用模板。
E-comIQ-ZH:面向电商海报细粒度评测的人类对齐数据集与基准(含思维链)
E-comIQ-ZH: A Human-Aligned Dataset and Benchmark for Fine-Grained Evaluation of E-commerce Posters with Chain-of-Thought
为生成图像质量评估提供了一条可复用的路线:用专家校准的 CoT 理由训练专用评测模型,可迁移到其他需要细粒度、可解释打分的生成内容评测场景(如中文文字渲染正确性、版式功能性)。
CoT-Edit:让思维链引导指令式视频编辑
CoT-Edit: Let CoT Guide Instruction Video Editing
用 CoT 增强的 MLLM 作为规划器输出边界框序列与属性化编辑指令,再把全局文本检索转成框条件掩码生成,为指令式视频编辑提供可复用的「先规划空间先验、再局部精修」范式。
帧链:通过帧感知推理提升多模态大语言模型的视频理解能力
Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning
提出单阶段帧感知推理链(Chain-of-Frames),让视频LLM在推理中显式引用关键帧,无需辅助模块即可提升时序定位与视频理解性能;其构建的CoF-Data数据集和合成数据增强策略可复用于视频推理任务。
Archon:面向整体数字人生成的统一多模态模型
Archon: A Unified Multimodal Model for Holistic Digital Human Generation
语义视频重参数化把高保真说话视频的词元量压缩 4 倍,再配合语义驱动的视频扩散解码器还原细节,这套「先语义压缩、后扩散解码」的流程可直接迁移到任何需要长视频自回归生成的视觉任务;「Thinking in Modality」的交替模态逐步推理思路也可用于提升跨模态条件生成的保真度与可控性。