Tag · 2 篇
多模态大语言模型评估
分布 鲁棒性与安全1数据集与评测1
01 02
像素不会说谎（但你的检测器可能会）：自举多模态大语言模型作为评判器以实现可信的深度伪造检测与推理监督
Pixels Don't Lie (But Your Detector Might): Bootstrapping MLLM-as-a-Judge for Trustworthy Deepfake Detection and Reasoning Supervision
提出以多模态大语言模型作为评判器（MLLM-as-a-Judge），通过自举生成-评估过程将人类反馈扩展为结构化推理监督，可用于评估和提升深度伪造检测模型推理的视觉证据忠实性，为可解释的伪造检测提供可扩展的监督信号。
CREval：面向复杂指令下创意图像编辑的自动化可解释评估
CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions
提供了一套基于问答的自动化评估流程和包含800多个样本、13K查询的基准，可用于系统评估图像编辑模型在复杂创意指令下的表现，替代不透明的MLLM直接打分。