Tag · 31 篇
多模态基准
多模态模型会被多图视觉谜题难住吗？
Will Multimodal Models Be Dazzled by Multi-Image Visual Puzzles?
对做多图/多帧视觉语言推理的人，MIRACLE 提供了强制跨图依赖的评测协议与实例分组设计，可直接用来诊断 MLLM 在高视觉信息密度（谜题、超多图输入）下的结构性关系推理短板，并作为多图训练数据的构造参考。
当可视化成为推理的第一步：MIRA，一个面向视觉思维链的基准
When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought
该基准把「生成中间视觉草图/路径图」作为推理的必要环节，为视觉研究者提供了检验 MLLM 是否真正利用视觉中间表征的评测协议（三级输入：直接输入、Text-CoT、Visual-CoT），可用于设计需要视觉想象的推理模型与训练数据。
Wan-Weaver：通过解耦训练实现交错多模态生成
Wan-Weaver: Interleaved Multi-modal Generation via Decoupled Training
将交错多模态生成分解为文本规划与视觉一致性建模，并利用文本代理数据训练规划器、参考引导图像数据训练可视化器，为视觉生成中的长程跨模态上下文建模提供了可复用的解耦训练思路。
VS-Bench：评估视觉语言模型在多智能体环境中策略能力的基准
VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments
为视觉语言模型智能体提供多智能体、视觉落地的策略评测协议，包含感知识别、下一动作预测、归一化回报三个维度，可直接用于检验 VLM 在交互式视觉环境中的决策能力，并暴露感知强而推理弱的失效模式。
VL-RouterBench：视觉语言模型路由基准
VL-RouterBench: A Benchmark for Vision-Language Model Routing
为视觉语言模型的路由/级联部署提供了可复现的样本-模型质量与成本矩阵及评测协议，做多模型推理系统或按预算选模型时可直接复用其数据构造与排序打分方式。
UNICBench：面向多模态大模型的统一计数基准
UNICBench: UNIfied Counting Benchmark for MLLM
为视觉研究者提供了一套跨图像/文本/音频的统一计数评测协议与工具包（固定划分、确定性数值解析、分层报告），可直接用于诊断 MLLM 在视觉计数上的长尾失效，并作为计数类视觉任务的数据与指标参照。
TriDF：面向可解释深度伪造检测的感知、检测与幻觉评测基准
TriDF: Evaluating Perception, Detection, and Hallucination for Interpretable DeepFake Detection
把「感知证据定位—分类检测—解释可靠性」三者放进同一评测框架，并给出人工标注的细粒度伪造证据，可直接用于诊断多模态大模型在伪造检测中「看对了才判对」的因果链，也为设计带证据输出的检测器提供监督信号与评价协议。
以编程视觉思考：迈向用图像思考的统一视角
Thinking with Programming Vision: Towards a Unified View for Thinking with Images
把「生成代码调用任意图像操作」作为统一工具接口，替代固定工具注册表，并用稠密过程奖励的强化学习训练多轮工具组合与运行时错误恢复；做视觉推理、工具增强 VLM 或多模态 agent 的工作可直接复用该框架与配套的朝向变化鲁棒性基准。
在动态中思考：多模态大语言模型如何感知、跟踪与推理物理4D世界中的动态
Thinking in Dynamics: How Multimodal Large Language Models Perceive, Track, and Reason Dynamics in Physical 4D World
论文提出的 Dyn-Bench 基准和 ST-TCM 结构化融合方法，为视觉研究者提供了评估和提升 MLLMs 在动态 4D 场景中时空推理与动态目标定位能力的可复用工具与思路。
Think 360°：超越深度：评估多模态大模型的宽度中心推理能力
Think 360deg: Beyond Depth: Evaluating the Width-centric Reasoning Capability of MLLMs
该基准提出的细粒度思维树评测协议可用于诊断视觉语言模型在需要广泛搜索与多约束优化的视觉推理任务上的不足，为设计支持宽推理的视觉模型提供评测工具。
SynthRGB-T：面向多样性合成的语言-视觉引导图像翻译
SynthRGB-T: Language-Vision Guided Image Translation for Diversity Synthesis
把红外↔可见光图像翻译建模为视觉语言引导的去噪扩散过程，并用解耦注入策略与双条件交叉注意力处理多路引导冲突，可直接复用于跨模态数据增广与开放世界条件生成。
PixDLM：面向无人机推理分割的双路径多模态语言模型
PixDLM: A Dual-Path Multimodal Language Model for UAV Reasoning Segmentation
把思维链问答监督与像素级分割输出耦合进一个多模态语言模型，为高分辨率斜视无人机影像提供可复用的推理分割基线；其按空间、属性、场景三级组织语义需求的思路，可直接迁移到其他需要复杂推理的开放词表分割设定。
OralGPT-Omni：一种多功能的牙科多模态大语言模型
OralGPT-Omni: A Versatile Dental Multimodal Large Language Model
构建了牙科领域的思维链数据集 TRACE-CoT 和统一多模态基准 MMOral-Uni，其四阶段训练范式可迁移到其他医学影像的 VLM 微调中，为领域专用 MLLM 的可靠性评估提供了可复用的数据构造与评测思路。
多模态奖励基准 2：评估面向交错图文的全能奖励模型
Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image
为视觉生成模型（文生图、图像编辑、交错生成）提供了首个统一的奖励模型评测基准，可直接用于评估和选择生成模型的偏好对齐信号，并揭示当前多模态奖励模型与人类判断的差距。
MMVIP：面向多天气海上视觉的可见光-红外配对数据集
MMVIP: A Visible-infrared Paired Dataset for Multi-weather Marine Vision
为可见光-红外跨模态研究提供了带精确时空对齐的海上多天气配对数据，可直接用于训练与评测图像配准、融合、跨模态翻译和海上目标检测模型，弥补了现有配对数据缺乏真实海上场景的空白。
MMLandmarks：面向地理空间理解的跨视角实例级基准
MMLandmarks: a Cross-View Instance-Level Benchmark for Geo-Spatial Understanding
该基准提供跨视角（地面-卫星）检索与地理定位任务，可用于评估视觉模型在视角变化下的表征鲁棒性，其CLIP式基线表明多模态训练能提升泛化性，为跨视角检索研究提供标准化评测平台。
M4Human：面向人体网格重建的大规模多模态毫米波雷达基准
M4Human: A Large-Scale Multimodal mmWave Radar Benchmark for Human Mesh Reconstruction
为视觉研究者提供了大规模毫米波雷达与RGB-D对齐的人体网格重建基准，可用于探索隐私保护、抗遮挡的人体感知，以及多模态融合（雷达点云+RGB-D）的HMR方法。
在 4D 中学习推理：面向视觉语言模型的动态空间理解
Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models
把相机位姿、局部点云、物体掩码与 3D 轨迹等 4D 重建先验压缩成少量 geometry tokens 注入 VLM，为在视觉语言模型中引入几何先验提供了一条轻量、可复用的接口思路。
你的 VLM 准备好飞向天空了吗？面向无人机导航的综合空间智能基准
Is your VLM Sky-Ready? A Comprehensive Spatial Intelligence Benchmark for UAV Navigation
为视觉研究者提供了一个面向无人机视角的空间智能评测基准（13 个子类，覆盖包围框、距离、高度、降落安全等），并给出可复用的 SpatialSky-Dataset 与 Sky-VLM 训练范式，可用于诊断和提升 VLM 的细粒度空间推理能力。
Hilbert-Geo：以神经符号推理求解立体几何问题
Hilbert-Geo: Solving Solid Geometric Problems by Neural-Symbolic Reasoning
把几何图形解析成形式化谓词（CDL）再交给定理库做可验证推理，这条「视觉解析→符号推理」的流水线可直接迁移到图表理解、几何题求解等需要严格可验证输出的多模态任务上。
HanDyVQA：面向细粒度手物交互动态的视频问答基准
HanDyVQA: A Video QA Benchmark for Fine-Grained Hand-Object Interaction Dynamics
提供了一个细粒度手物交互视频问答基准，并配套物体/部件级分割掩码，可用于评测视频基础模型的时空与部件级几何推理能力；其发现「显式注入 HOI 线索到视觉特征可提升性能」为设计 HOI 感知的视频表征提供了可复用思路。
HAVE-Bench：从感知到交互的层级化音视频评测基准
HAVE-Bench: Hierarchical Audio-Visual Evaluation from Perception to Interaction
做音视频多模态的视觉研究者可把 HAVE-Bench 的三级认知层级（感知-推理-交互）与多轮交互标注协议当作评测模板，用来诊断模型在语音驱动视觉问答上相对文本-图像设定的性能落差，并据此设计跨模态推理能力迁移的训练目标。
面向多模态大语言模型的接地思维链
Grounded Chain-of-Thought for Multimodal Large Language Models
提出 Grounded Chain-of-Thought 任务与 MM-GCoT 基准，要求 MLLM 在逐步推理中显式输出视觉线索的 grounding 坐标，并引入答案-定位一致性指标，可用于诊断和缓解多模态模型在视觉空间推理中的幻觉问题。
Geoint-R1：以动态辅助构造形式化多模态几何推理
Geoint-R1: Formalizing Multimodal Geometric Reasoning with Dynamic Auxiliary Constructions
把几何图形理解与形式化证明（Lean4）结合，并显式生成辅助构造元素，为视觉推理模型提供了可验证的中间步骤监督信号；其基准与标注方式可用于评测多模态模型在图形-文本联合推理上的严谨性。
GeoMMBench 与 GeoMMAgent：面向地球科学与遥感专家级多模态智能
GeoMMBench and GeoMMAgent: Toward Expert-Level Multimodal Intelligence in Geoscience and Remote Sensing
GeoMMBench 提供了覆盖多学科、多传感器、多任务的遥感多模态问答基准，可用于系统评估 MLLM 在遥感领域的感知与推理短板；GeoMMAgent 展示了如何通过工具增强的多智能体框架（集成检索、感知、推理）提升复杂遥感任务的性能，为视觉-语言模型在专业领域的落地提供了可复用的范式。
Gastric-X：用于推进胃癌分析中视觉语言模型的多模态多期基准数据集
Gastric-X: A Multimodal Multi-Phase Benchmark Dataset for Advancing Vision-Language Models in Gastric Cancer Analysis
为医学视觉语言模型提供了一个包含配对CT、内镜图像、生化指标和专家报告的多模态基准，可用于评测和开发面向真实临床工作流的VQA、报告生成、跨模态检索和病灶定位方法。
GUIDE：面向开放式 GUI 任务中理解与辅助用户的基准
GUIDE: A Benchmark for Understanding and Assisting Users in Open-Ended GUI Tasks
为视觉研究者提供了一个屏幕录制序列上的行为状态识别与意图预测基准，可用于训练和评测多模态大模型对连续界面操作序列的时序理解与用户建模能力，并验证了结构化用户上下文对辅助决策的显著增益。
GGBench：面向统一多模态模型的几何生成推理基准
GGBench: A Geometric Generative Reasoning Benchmark for Unified Multimodal Models
为视觉研究者提供了一个可确定性验证的生成式几何推理评测框架：每个样本对齐自然语言指令、可执行 GeoGebra 代码与渲染图，可用于检验多模态模型「先推理再作图」的能力，并作为训练/评测几何作图与程序化图形生成的数据来源。
DriveCombo：自动驾驶中组合式交通规则推理的基准评测
DriveCombo: Benchmarking Compositional Traffic Rule Reasoning in Autonomous Driving
为视觉语言模型在自动驾驶中的规则理解提供了分层认知评测协议与 Rule2Scene 规则到场景的生成管线，可直接用于诊断 MLLM 在多规则冲突下的推理失效，并作为微调数据来源提升下游规划。
超越语义搜索：面向组合图像检索的指代锚定
Beyond Semantic Search: Towards Referential Anchoring in Composed Image Retrieval
提出以边界框作为视觉锚点的细粒度组合图像检索任务，并设计上下文感知注意力调制器，可复用于需要实例级保真度的多模态检索与定位任务。
单因素物理视频到音频生成的基准评测
Benchmarking Single-Factor Physical Video-to-Audio Generation
为视频到音频生成提供了单因素反事实配对与单视频模式测试的评测协议，可直接用于诊断多模态生成模型对视觉流与文本条件的依赖程度，并揭示时序对齐与语义准确率之间的权衡。