Tag · 10 篇
多模态大语言模型评测
X-PCR：眼科诊断中跨模态渐进式临床推理基准
X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis
该基准为视觉-语言模型在眼科诊断中的渐进式推理与跨模态整合能力提供了细粒度评测协议，其六阶段推理链和六模态整合任务可直接用于诊断多模态模型在临床视觉推理中的短板。
当可视化成为推理的第一步：MIRA，一个面向视觉思维链的基准
When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought
该基准把「生成中间视觉草图/路径图」作为推理的必要环节，为视觉研究者提供了检验 MLLM 是否真正利用视觉中间表征的评测协议（三级输入：直接输入、Text-CoT、Visual-CoT），可用于设计需要视觉想象的推理模型与训练数据。
UI-Lens：评估通用多模态大语言模型自动化UI显示质量保证的潜力
UI-Lens: Assessing General MLLMs' Potential to Automate UI Display Quality Assurance
该基准揭示了MLLM/VLM在细粒度元素边界理解和序列界面语义一致性上的严重不足，为视觉研究提供了可复用的评测协议和失败模式分析，可推动面向复杂真实界面的细粒度感知与推理方法研究。
迈向运动图灵测试：评估人形机器人的类人程度
Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots
提供以 SMPL-X 运动学参数为输入的「人类相似度」自动评分任务与基准，可用于评估动作生成/人体动作合成模型输出是否像人，并给出一个优于 LLM 类方法的简单回归基线可作对照。
RealAppliance：让高保真家电资产可控可用，并与真实手册对齐
RealAppiance: Let High-fidelity Appliance Assets Controllable and Workable as Aligned Real Manauls
提供了100个高保真家电资产及配套基准，可用于评测多模态大语言模型在手册检索、部件定位和开/闭环操作规划上的能力，为具身操作研究提供标准化测试平台。
Omni-AD：面向工业异常检测的大规模通用基准
Omni-AD: A Large-scale and Versatile Benchmark for Industrial Anomaly Detection
为工业异常检测提供了一个规模更大、类别更多且同时支持无监督协议与 MLLM 协议（VQA 与视觉定位）的评测平台，可直接用于检验现有 IAD 方法与多模态大模型在细粒度缺陷判别上的真实能力上限。
从位置到功能：多模态大语言模型中的空间-功能智能基准
From Where Things Are to What They Are For: Benchmarking Spatial-Functional Intelligence in Multimodal LLMs
该基准为视觉语言模型提供了诊断空间记忆与功能推理结合能力的评测工具，可用于检验模型在具身场景下的高阶认知瓶颈，并指导融合感知、记忆与推理的模型设计。
EgoSound：第一人称视频中声音理解基准
EgoSound: Benchmarking Sound Understanding in Egocentric Videos
为视觉研究者提供了一个可复用的第一人称音视频问答基准与七任务分类体系，可用于诊断多模态大模型在离屏事件、空间定位与因果推理上的盲区，并作为音频-视觉联合训练或评测的下游测试床。
ENC-Bench：评估多模态大语言模型电子海图理解能力的基准
ENC-Bench: A Benchmark for Evaluating Multimodal Large Language Models in Electronic Navigational Chart Understanding
该基准揭示了MLLMs在专业符号系统（如海图矢量符号）和几何空间计算上的系统性缺陷，为视觉-语言模型在安全关键领域的符号接地与多约束推理提供了可复用的评测框架和失败模式分析。
超越单视角充分性：CVBench 跨视角人体理解基准
Beyond Single-View Sufficiency: CVBench for Cross-View Human Understanding
该基准通过强制单视角信息不足的设定，暴露了现有多模态大模型在跨视角融合上的系统性缺陷，为设计具备几何 grounding 和身份持久性的视觉架构提供了诊断工具与明确方向。