Tag · 28 篇
多模态大模型评测
VisRes Bench：评估视觉语言模型的视觉推理能力
VisRes Bench: On Evaluating the Visual Reasoning Capabilities of VLMs
对做 VLM 或视觉推理的研究者，VisRes Bench 提供了按感知补全、单属性规则推理、多属性组合推理三级划分的受控评测协议，并系统施加模糊、纹理替换、遮挡、旋转等感知扰动，可用于诊断模型究竟是真正在做视觉推理还是依赖语言先验，也可作为训练或微调后的抽象视觉推理评测集。
Think 360°：超越深度：评估多模态大模型的宽度中心推理能力
Think 360deg: Beyond Depth: Evaluating the Width-centric Reasoning Capability of MLLMs
该基准提出的细粒度思维树评测协议可用于诊断视觉语言模型在需要广泛搜索与多约束优化的视觉推理任务上的不足，为设计支持宽推理的视觉模型提供评测工具。
SurgCoT：通过思维链基准推进手术视频中的时空推理
SurgCoT: Advancing Spatiotemporal Reasoning in Surgical Videos through a Chain-of-Thought Benchmark
提供了一个带结构化思维链标注（问题-选项-知识-线索-答案）的手术视频时空推理基准，可用于诊断多模态大模型在因果动作排序、线索-动作对齐、可供性映射等细粒度时序环节上的失效点，并作为逐步推理评测协议的模板迁移到其他视频理解任务。
SEA-Vision：面向东南亚综合文档与场景文本理解的多语言基准
SEA-Vision: A Multilingual Benchmark for Comprehensive Document and Scene Text Understanding in Southeast Asia
该基准为多语言文档与场景文本理解提供了细粒度标注（页/块/行级）和五类推理的TEC-VQA，可用于评估多模态大模型在低资源语言上的性能退化，并推动文档解析与文本中心视觉问答的鲁棒性研究。
SCIEval：用大型多模态模型评估与基准化科学图像生成与解读的忠实度
SCIEval: Evaluating and Benchmarking the Faithfulness of Scientific Image Generation and Interpretation with Large Multimodal Models
提供了一套面向科学图像忠实度的评测模型与基准（SCIEval-Bench），其基于 CLIP 的模态内/跨模态对比学习增强科学图像感知、以及用监督式理由信号微调 LMM 做可解释性归因的做法，可直接迁移到任意生成图像/描述的可信度打分与细粒度错误定位任务中。
RealBirdID：多模态大模型时代的鸟类物种识别基准
RealBirdID: Benchmarking Bird Species Identification in the Era of MLLMs
为细粒度视觉识别引入「可弃权」评测协议：模型需在不可回答样本上给出带证据的理由（如需要鸣声、图像质量低、视角遮挡），可直接迁移到其他细粒度分类或开放世界识别任务中，用于衡量模型的校准性与拒识能力，而非只测闭集准确率。
ProactiveMobile：面向移动设备主动式智能增强的综合基准
ProactiveMobile: A Comprehensive Benchmark for Boosting Proactive Intelligence On Mobile Devices
为视觉语言模型提供了一个可执行、可客观评测的主动式移动端任务基准：模型需从屏幕截图等设备上下文信号中推断潜在用户意图，并输出由 63 个 API 组成的可执行函数序列，可直接用于评测 VLM 的意图推理与工具调用能力。
PosterIQ：面向海报理解与生成的设计视角基准
PosterIQ: A Design Perspective Benchmark for Poster Understanding and Generation
为视觉语言模型与扩散生成器提供海报理解与生成的细粒度诊断基准，可用于评测模型在版面解析、文字-图像对应、字体感知与构图可控生成上的能力，并暴露商业模型作为自动评分器不敏感的问题。
PAI-Bench：面向物理 AI 的综合基准
PAI-Bench: A Comprehensive Benchmark For Physical AI
做视频生成或视频理解的人可以直接用 PAI-Bench 的 2,808 个真实案例和任务对齐指标，检验模型是否保持物理一致的动力学，而不是只看视觉保真度；也可借鉴其条件视频生成与视频理解统一评测的协议设计。
OmniBrainBench：面向多阶段临床任务的脑影像分析综合多模态基准
OmniBrainBench: A Comprehensive Multimodal Benchmark for Brain Imaging Analysis Across Multi-stage Clinical Tasks
为视觉语言模型在专业医学域提供覆盖15种脑成像模态、含封闭式与开放式问答的多阶段临床评测协议，可用于诊断MLLM在视觉到临床推理链路上的短板，并作为医学多模态模型选型与改进的对照基准。
MovieRecapsQA：一个多模态开放式视频问答基准
MovieRecapsQA: A Multimodal Open-Ended Video Question-Answering Benchmark
对做视频理解或多模态大模型的人，这里提供了一个可复用的开放式视频问答评测协议：用「答案应包含的事实」构造无参考指标，并可在全长电影、完整回顾视频、对齐片段等不同视觉输入设定下对比模型，从而把视觉感知与视觉推理的瓶颈分开诊断。
Med-CMR：融合视觉证据与临床逻辑的医学复杂多模态推理细粒度基准
Med-CMR: A Fine-Grained Benchmark Integrating Visual Evidence and Clinical Logic for Medical Complex Multimodal Reasoning
为医学多模态大模型提供按能力维度拆解的细粒度评测协议：把视觉理解拆成小目标检测、细节判别、空间理解，把推理拆成时序预测、因果推理、长尾泛化、多源整合，可直接用于诊断自研医学 VLM 的失效环节，尤其是长尾病例的视觉证据整合能力。
MCHDoc：面向多载体中文历史文档阅读的综合基准
MCHDoc: A Comprehensive Benchmark for Reading Multi-Carrier Chinese Historical Documents
为文档图像理解提供了跨载体、跨三千年的高分辨率评测基准，可用于检验 OCR 与多模态大模型在异构版式、材质退化下的字符级识别与 LLM 后校正能力，并可作为文档分析模型领域泛化性的测试床。
MA-Bench：迈向细粒度微动作理解
MA-Bench: Towards Fine-grained Micro-Action Understanding
为视觉研究者提供了一个针对细微人体动作的三层评测协议（感知/关系理解/解释推理）和 20.5K 结构化动作描述训练语料，可直接用于诊断和微调视频 MLLM 在细粒度身体部位动态上的短板。
LifeEval：面向第一人称日常生活任务辅助 AI 的多模态基准
LifeEval: A Multimodal Benchmark for Assistive AI in Egocentric Daily Life Tasks
为视觉研究者提供了一个以第一人称连续视频流为输入、要求模型在对话中实时给出任务导向协助的评测设定，可用于检验 MLLM 的在线感知与自适应交互能力，而非事后视频问答。
I2I-Bench：面向图像到图像编辑模型的综合基准套件
I2I-Bench: A Comprehensive Benchmark Suite for Image-to-Image Editing Models
做图像编辑模型时可直接用这套含 10 类任务、30 个解耦维度的自动化评测协议（专用工具 + LMM 混合打分）替代人工评测，并用其对齐验证方法检验自建指标是否与人类偏好一致。
HumanVBench：以自动合成基准探测多模态大模型中以人为中心的视频理解能力
HumanVBench: Probing Human-Centric Video Understanding in MLLMs with Automatically Synthesized Benchmarks
提供了一套可复用的自动化基准构建流水线：用强模型生成高质量视频标注，并把模型自身的错误系统性地转化为干扰项，从而以极低人工成本构造细粒度多选题评测集；做视频 MLLM 评测或需要构造难负样本的视觉研究者可直接借鉴这一「错误即干扰项」的合成思路。
GroundingME：通过多维度评测揭示多模态大语言模型中的视觉定位差距
GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation
对做视觉定位/VLM 的研究者，这篇提供了四维诊断基准（判别、空间、受限、拒绝），可直接用来暴露模型在相似目标区分、复杂关系描述和不可定位查询上的失效模式；其测试时扩展（按思维轨迹选最优回答）与数据混合训练两种改进策略也可迁移到其他 grounding 模型的评测与微调流程。
GUI-CEval：面向移动 GUI 智能体的分层综合中文基准
GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents
对做多模态 GUI 智能体的视觉研究者，它提供了基于真实设备的中文评测协议，把感知、规划、反思、执行、评估拆成原子能力与端到端两级，可直接用来诊断 MLLM 在反思决策与动作后自评上的短板，也可作为训练/微调后的验证基准。
从室内到开放世界：揭示多模态大模型中的空间推理鸿沟
From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs
对做多模态大模型空间推理的人，这篇提供了用双目+LiDAR+IMU/GPS 采集的行人视角视频自动生成分层空间推理问答的流程，以及合成异常场景与盲测两种诊断协议，可直接用来检验模型是否真的依赖视觉 grounding 而非语言先验。
细粒度多图物体幻觉基准
Fine-Grained Multi Image Object Hallucination Benchmark
做多模态大模型视觉理解时，可把 MIOH 的三类多图推理模式（综合/对比/选择）与三种对抗压力（视觉上下文规模、感知难度、上下文偏置）当作诊断探针，定位幻觉是发生在感知阶段还是跨图对象表征整合阶段，从而指导多图融合模块的设计与评测。
FAVE：面向多模态大模型细粒度音视频时序评测的结构化基准
FAVE: A Structured Benchmark for Fine-Grained Audio-Visual Temporal Evaluation in Multimodal LLMs
对做视频-语言或多模态大模型的人，FAVE 提供了三个可复用的评测维度（跨模态时序对齐、事件时序关系、时刻描述）和一套基于镜头边界检测+自动描述+GPT 精修的标注流水线，可直接用来诊断模型的时间戳定位与音视频联合推理短板。
揭示与评估 GUI 视觉定位中的幻觉
Exposing and Evaluating Hallucinations for GUI Grounding
把 GUI 视觉定位中的幻觉拆成「混淆幻觉」与「捏造幻觉」两类，并给出可复用的评测子集设计（解析子集 + 幻觉子集），可直接迁移到其他视觉定位任务上做失效模式诊断。
面向第一人称视频个性化问答的自我指代 grounding
Ego-Grounding for Personalized Question-Answering in Egocentric Videos
为第一人称视觉语言模型提供了首个系统性的个性化问答基准 MyEgo，并揭示显式提供证据时模型短期提升、随时间衰减的现象，可直接用于设计带长程记忆与自我指代（ego-grounding）机制的第一人称视频问答模型与评测协议。
E-comIQ-ZH：面向电商海报细粒度评测的人类对齐数据集与基准（含思维链）
E-comIQ-ZH: A Human-Aligned Dataset and Benchmark for Fine-Grained Evaluation of E-commerce Posters with Chain-of-Thought
为生成图像质量评估提供了一条可复用的路线：用专家校准的 CoT 理由训练专用评测模型，可迁移到其他需要细粒度、可解释打分的生成内容评测场景（如中文文字渲染正确性、版式功能性）。
ChartR：评估图表问答中的推理准确性与鲁棒性
ChartR: Evaluating Reasoning Accuracy and Robustness in Chart Question Answering
对做多模态大模型视觉推理的人，它提供了把问题拆成 4-10 步子问题、并对同一图表施加模糊/加噪/水印/去标注四种视觉扰动来定位「哪一步开始错、错误如何向后传播」的评测协议与八项指标，可直接用于诊断自家模型是依赖文本线索还是真正读图。
CaptionQA：你的描述能像图像本身一样有用吗？
CaptionQA: Is Your Caption as Useful as the Image Itself?
把「图像描述能否替代图像」转化为可用 LLM 直接作答的多选题效用探针，为评估 captioning 与多模态描述模型提供了可复用的下游效用评测协议，也提示视觉研究者关注 caption 在检索、推荐、agent 流水线中的信息保真度。
AVFakeBench：面向音视频大语言模型的综合音视频伪造检测基准
AVFakeBench: A Comprehensive Audio-Video Forgery Detection Benchmark for AV-LMMs
为视觉研究者提供一个覆盖人类主体与一般场景、含七类伪造与四级标注的音视频伪造检测基准，并给出二分类判断、伪造类型分类、伪造细节选择与解释性推理的多任务评测协议，可直接用于检验 AV-LMM 在细粒度伪造感知与推理上的短板。