Tag · 3 篇
零样本评测
分布 数据集与评测2视觉语言模型1
01 02 03
理解视觉语言模型中的任务迁移
Understanding Task Transfer in Vision-Language Models
给做 VLM 感知微调的人一个可复用的诊断工具：用 PGF 归一化指标量化源任务微调对 13 个感知任务零样本性能的迁移广度与幅度，并据此做数据选择，避免负迁移。
ENC-Bench：评估多模态大语言模型电子海图理解能力的基准
ENC-Bench: A Benchmark for Evaluating Multimodal Large Language Models in Electronic Navigational Chart Understanding
该基准揭示了MLLMs在专业符号系统（如海图矢量符号）和几何空间计算上的系统性缺陷，为视觉-语言模型在安全关键领域的符号接地与多约束推理提供了可复用的评测框架和失败模式分析。
CrossHOI-Bench：跨视觉语言模型与 HOI 专用方法的统一 HOI 评测基准
CrossHOI-Bench: A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods
用带显式正例与精选负例的多项选择协议替代 HICO-DET 的精确标签匹配，可直接用于公平比较 VLM 与专用 HOI 模型，并暴露多动作并发与动作-人物绑定这两类失败模式。