Tag · 15 篇
视觉语言模型评测
机器人何时该说「我不知道」：具身问答中弃权行为的基准评测
When Robots Should Say ''I Don't Know'': Benchmarking Abstention in Embodied Question Answering
为视觉语言模型在具身场景中引入「拒答」能力提供了可复用的评测基准与五类弃权分类法，做 VLM 可靠性或交互式问答时可据此设计拒答召回指标与歧义问题构造流程。
你的特征泄露了什么：面向分割式 DNN 的数据高效黑盒特征反演攻击
What Your Features Reveal: Data-Efficient Black-Box Feature Inversion Attack for Split DNNs
把流匹配引入特征反演：用潜空间对齐模块 + 确定性一步流匹配把中间特征投回目标流形，可在极少图像-特征对下训练，为评估分割式推理的隐私泄露提供了可复用的攻击基线；其基于 LVLM 的语义保真度指标也可直接用于衡量任何重建/反演任务的语义一致性。
VS-Bench：评估视觉语言模型在多智能体环境中策略能力的基准
VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments
为视觉语言模型智能体提供多智能体、视觉落地的策略评测协议，包含感知识别、下一动作预测、归一化回报三个维度，可直接用于检验 VLM 在交互式视觉环境中的决策能力，并暴露感知强而推理弱的失效模式。
时间盲区：为何视频语言模型看不到人类能看到的东西？
Time Blindness: Why Video-Language Models Can't See What Humans Can?
SpookyBench 提供了一个极端设定：空间信息被噪声帧完全遮蔽，只保留时序结构，可直接用来诊断 VLM 是否真正在做时序推理，而非依赖帧级空间特征；做视频理解或时序建模的工作可以把它当作压力测试集，并据此设计解耦空间依赖的架构或训练目标。
SpatialScore：迈向空间智能的全面评测
SpatialScore: Towards Comprehensive Evaluation for Spatial Intelligence
该基准覆盖 30 类空间任务与多种视觉数据形态，可直接用于诊断视觉语言模型在空间关系、视角变换上的短板；其 331K 监督微调语料与 12 个空间感知工具构成的多智能体框架，为在视觉模型中注入空间推理能力提供了可复用的数据与免训练工具编排思路。
面向基于大语言模型的运动轨迹生成与验证的自一致性方法
Self-Consistency for LLM-Based Motion Trajectory Generation and Verification
把自一致性从文本推理迁移到视觉域：用「原型轨迹 + 几何变换群」定义形状族，通过聚类一致轨迹来提升 LLM 生成运动轨迹的准确率，并可作为 VLM 轨迹验证的免训练后处理手段。
你的 VLM 准备好飞向天空了吗？面向无人机导航的综合空间智能基准
Is your VLM Sky-Ready? A Comprehensive Spatial Intelligence Benchmark for UAV Navigation
为视觉研究者提供了一个面向无人机视角的空间智能评测基准（13 个子类，覆盖包围框、距离、高度、降落安全等），并给出可复用的 SpatialSky-Dataset 与 Sky-VLM 训练范式，可用于诊断和提升 VLM 的细粒度空间推理能力。
InfiniBench：面向视觉空间推理的可定制场景复杂度无限基准生成
InfiniBench: Infinite Benchmarking for Visual Spatial Reasoning with Customizable Scene Complexity
InfiniBench 提供了一种可参数化控制场景复杂度的自动化基准生成方法，视觉研究者可用它系统性地评测 VLM 在测量、视角转换和时空追踪等空间推理任务上的失效模式，并借助其基于聚类的布局优化与任务感知相机轨迹优化生成高复杂度视频输入。
Gastric-X：用于推进胃癌分析中视觉语言模型的多模态多期基准数据集
Gastric-X: A Multimodal Multi-Phase Benchmark Dataset for Advancing Vision-Language Models in Gastric Cancer Analysis
为医学视觉语言模型提供了一个包含配对CT、内镜图像、生化指标和专家报告的多模态基准，可用于评测和开发面向真实临床工作流的VQA、报告生成、跨模态检索和病灶定位方法。
平板包装基准：通过家具组装评估大型视觉语言模型的时空理解
Flat-Pack Bench: Evaluating Spatio-Temporal Understanding in Large Vision-Language Models through Furniture Assembly
该基准通过家具组装任务和视觉提示，系统评测LVLM的细粒度时序排序、状态定位、部件匹配与跟踪能力，为视频理解模型在复杂空间交互场景下的评估提供了新协议和诊断工具。
FPS-Bench：面向高帧率视频理解的基准
FPS-Bench: A Benchmark for High Frame-Rate Video Understanding
提出 minFPS 这一可复用的度量，用来量化一个问题所需的最低帧率；做视频 VLM 或时序建模时，可用它诊断模型在时间采样上的瓶颈，并据此设计高帧率采样或时序聚合策略。
视觉语言模型达标了吗？用 MeasureBench 对视觉测量读数进行基准评测
Do Vision-Language Models Measure Up? Benchmarking Visual Measurement Reading with MeasureBench
提供了一个可程序化合成仪表图像（指针、刻度、字体、光照、杂乱可控）的流水线，以及一个诊断 VLM 细粒度空间定位能力的基准；做 VLM 数值感知或空间 grounding 的研究可直接用它构造训练/评测数据，并验证 RFT 在合成数据上的迁移效果。
CrossHOI-Bench：跨视觉语言模型与 HOI 专用方法的统一 HOI 评测基准
CrossHOI-Bench: A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods
用带显式正例与精选负例的多项选择协议替代 HICO-DET 的精确标签匹配，可直接用于公平比较 VLM 与专用 HOI 模型，并暴露多动作并发与动作-人物绑定这两类失败模式。
CRIT：基于图的自动数据合成以增强跨模态多跳推理
CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning
提供了一套基于图自动生成跨模态多跳推理训练/评测数据的流水线，可直接用于构造需要图文互补才能作答的 VLM 训练数据，缓解模型推理链缺乏视觉依据的幻觉问题。
超越单张图像：面向相册级视觉语言理解的综合基准
Beyond Single Images: A Comprehensive Benchmark for Album-Level Vision-Language Understanding
为多图/相册级视觉语言理解提供了带用户意图标注的评测基准，可直接用于检验和训练 VLM 的跨图上下文聚合与意图对齐能力，例如在相册内做照片筛选、评分与分组。