Tag · 33 篇
基准构建
一站式AI生成视频检测方案
Your One-Stop Solution for AI-Generated Video Detection
为视觉研究者提供了一个覆盖31个最新生成模型、44万视频的AI生成视频检测基准，可直接用于评测或训练检测器，并给出8项分析与4个新发现，帮助定位现有检测器在语义多样性与技术代表性上的失效模式。
WorldLens：面向真实世界的驾驶世界模型全谱系评测
WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World
为驾驶世界模型提供覆盖生成、重建、动作跟随、下游任务与人类偏好的统一评测协议，并给出可蒸馏的评测模型范式；做视频生成或自动驾驶仿真的研究者可直接用其指标与 WorldLens-26K 标注来诊断模型在几何一致性与物理合理性上的失效模式。
WiTTA-Bench：面向 WiFi 感知的测试时自适应基准
WiTTA-Bench: Benchmarking Test-Time Adaptation for WiFi Sensing
WiFi 感知的 TTA 基准与跨设备配对数据集，为视觉研究者提供了与视觉感知互补的被动感知模态；其揭示的 OTTA 与 TTDA 互补性、以及递归自训练对超参敏感的现象，可直接迁移到视觉 TTA 方法的设计与评测中。
VisualOverload：探测视觉语言模型在真正密集场景中的视觉理解
VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes
该基准揭示了当前VLM在密集场景下细节编码与推理的严重不足，为视觉编码器的高分辨率细节保留和推理模块的细粒度逻辑一致性提供了明确的评测靶点。
视觉个性化图灵测试
Visual Personalization Turing Test
提出以「感知不可区分」而非身份复刻来评判个性化生成，并给出仅用文本的 VPTT Score 作为可扩展代理指标；做个性化生成（如 DreamBooth 类）或需要自动评测生成内容「像不像某人所为」的视觉研究者，可直接复用其基准与评分协议替代昂贵的人工评测。
VirtueBench：评估长视频理解中不确定性下的可信度
VirtueBench: Evaluating Trustworthiness under Uncertainty in Long Video Understanding
该基准通过多级帧采样构造可回答与不可回答的样本，为评估视觉语言模型在长视频理解中的诚实性（拒绝回答能力）提供了可复用的评测协议，可直接用于诊断现有模型在信息缺失时是否倾向于猜测。
ViStoryBench：面向故事可视化的综合基准套件
ViStoryBench: Comprehensive Benchmark Suite for Story Visualization
为故事可视化/多图叙事生成提供了带角色参考、多镜头脚本与人工校验的评测基准，并给出角色一致性、风格相似度、提示词对齐、美学质量与复制粘贴伪影等自动指标，可直接用于诊断多图生成模型的角色漂移与跨图一致性问题。
VRR-QA：超越显式线索的视频视觉关系推理
VRR-QA: Visual Relational Reasoning in Videos Beyond Explicit Cues
为视频问答提供了专门考察跨帧隐式关系推理的评测基准，可用于诊断现有 VideoQA 模型对表层视觉线索的依赖，并作为隐式推理能力训练与评估的测试平台。
VKG-QA：面向大型多模态模型的视觉知识图谱问答
VKG-QA: Visual Knowledge Graph-based Question Answer for Large Multimodal Models
把知识图谱渲染成图结构可视化图像，让 LMM 直接感知并推理高阶关系，为视觉推理研究提供了一个可复用的「图→图」表征范式与评测基准，可用于检验和提升模型对结构化视觉关系的理解能力。
VCU-Bridge：通过语义桥接的层次化视觉内涵理解
VCU-Bridge: Hierarchical Visual Connotation Understanding via Semantic Bridging
提出层次化视觉内涵理解框架和HVCU-Bench基准，用于诊断MLLM从低层感知到高层推理的因果依赖；其MCTS引导的数据生成流程可复用于构建其他需要显式推理链的视觉语言指令微调数据。
面向真实世界文档解析：逼真场景合成与文档感知训练
Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training
对做文档/图表类视觉理解的人，这篇提供了可复用的思路：用布局模板+文档元素合成大规模全页端到端监督数据，配合渐进式学习与结构 token 优化来抑制 MLLM 的重复与幻觉输出；Wild-OmniDocBench 也可直接用于评测随手拍文档的鲁棒性。
SurgCoT：通过思维链基准推进手术视频中的时空推理
SurgCoT: Advancing Spatiotemporal Reasoning in Surgical Videos through a Chain-of-Thought Benchmark
提供了一个带结构化思维链标注（问题-选项-知识-线索-答案）的手术视频时空推理基准，可用于诊断多模态大模型在因果动作排序、线索-动作对齐、可供性映射等细粒度时序环节上的失效点，并作为逐步推理评测协议的模板迁移到其他视频理解任务。
ShowTable：通过协同反思与精炼解锁创意表格可视化
ShowTable: Unlocking Creative Table Visualization with Collaborative Reflection and Refinement
把 MLLM 当作规划与错误评判的编排器、扩散模型当作执行器，通过渐进式自纠正循环把结构化数据映射为高保真信息图，这一「推理-生成-纠错」闭环可迁移到任何需要精确数据到视觉映射的条件生成任务。
SVHalluc：面向音视频大语言模型的语音-视觉幻觉基准
SVHalluc: Benchmarking Speech-Vision Hallucination in Audio-Visual Large Language Models
为视觉研究者提供了一个诊断音视频大模型「语音-视觉」跨模态对齐能力的评测框架，其语义与时序双维度探针可直接用于检验视频理解模型是否真正将语音内容落地到对应画面，而非仅靠单模态先验作答。
SVBench：视频生成模型的社会推理评测
SVBench: Evaluation of Video Generation Models on Social Reasoning
为视频生成模型提供了一个可复用的社会推理评测框架：用免训练的 agent 流水线把心理学范式转成视频场景，再用 VLM 作为评判器按五个可解释维度打分，可直接用于诊断生成模型在因果与心理动态上的缺陷。
RealBirdID：多模态大模型时代的鸟类物种识别基准
RealBirdID: Benchmarking Bird Species Identification in the Era of MLLMs
为细粒度视觉识别引入「可弃权」评测协议：模型需在不可回答样本上给出带证据的理由（如需要鸣声、图像质量低、视角遮挡），可直接迁移到其他细粒度分类或开放世界识别任务中，用于衡量模型的校准性与拒识能力，而非只测闭集准确率。
重新审视持续视觉问答：面向多模态持续学习的公平与鲁棒评测
Re-evaluating Continual VQA: Toward Fair and Robust Evaluation for Multimodal Continual Learning
对做多模态持续学习的人，这篇论文指出共享答案词表与静态答案先验会系统性高估性能、低估遗忘，并给出可复用的无偏基准构造方式（token 级不相交答案空间 + 任务内训练-测试分布偏移）；其 question-only replay 与双层蒸馏基线也可作为轻量防遗忘的对照方案。
RMIR：一个面向推理密集型多模态图像检索的基准数据集
RMIR: A Benchmark Dataset for Reasoning-Intensive Multimodal Image Retrieval
为视觉研究者提供了一个需要复杂推理（功能、时序、因果）的多模态图像检索基准，并揭示了生成式嵌入模型在推理感知训练下的优势，可启发设计更强的推理型视觉-语言检索模型。
PersonaVLM：长期个性化多模态大语言模型
PersonaVLM: Long-Term Personalized Multimodal LLMs
为视觉语言模型引入可检索的多模态长期记忆库与用户人格演化建模，可作为个性化 VLM 助手、多轮视觉对话与用户偏好对齐的可复用框架；其 Persona-MME 基准也可用于评测视觉对话中的长期个性化能力。
Omni-AD：面向工业异常检测的大规模通用基准
Omni-AD: A Large-scale and Versatile Benchmark for Industrial Anomaly Detection
为工业异常检测提供了一个规模更大、类别更多且同时支持无监督协议与 MLLM 协议（VQA 与视觉定位）的评测平台，可直接用于检验现有 IAD 方法与多模态大模型在细粒度缺陷判别上的真实能力上限。
MultiBanana：一个面向多参考文本到图像生成的挑战性基准
MultiBanana: A Challenging Benchmark for Multi-Reference Text-to-Image Generation
为多参考主体驱动生成提供了覆盖参考数量（最多8张）、跨域、尺度不匹配、罕见概念与多语言文本的评测协议，可直接用于诊断个性化生成模型在异构参考组合下的失败模式。
Multi-Crit：面向多元准则遵循能力的多模态评判者基准
Multi-Crit: Benchmarking Multimodal Judges on Pluralistic Criteria-Following
为视觉生成与多模态理解提供了一套以细粒度准则为条件的评判基准与三项新指标（多元准则遵循度、准则切换灵活性、准则级偏好冲突识别），可直接用于诊断和选择 LMM 作为视觉生成质量评估器，并揭示整体性评判微调无法泛化到准则级判断这一关键失效模式。
MCHDoc：面向多载体中文历史文档阅读的综合基准
MCHDoc: A Comprehensive Benchmark for Reading Multi-Carrier Chinese Historical Documents
为文档图像理解提供了跨载体、跨三千年的高分辨率评测基准，可用于检验 OCR 与多模态大模型在异构版式、材质退化下的字符级识别与 LLM 后校正能力，并可作为文档分析模型领域泛化性的测试床。
Hint2Gen：通过代码结构化提示连接理解与生成
Hint2Gen: Bridging Understanding and Generation via Code-structured Hints
把 SVG/HTML 这类代码结构化提示作为图像平面上的显式条件输入，接到 FLUX.1 Kontext 这类扩散编辑模型上，为「推理密集型生成」提供了一条可复用的条件注入路径；Reason2Gen 基准也可直接用于评测生成模型的推理能力。
GUI-CEval：面向移动 GUI 智能体的分层综合中文基准
GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents
对做多模态 GUI 智能体的视觉研究者，它提供了基于真实设备的中文评测协议，把感知、规划、反思、执行、评估拆成原子能力与端到端两级，可直接用来诊断 MLLM 在反思决策与动作后自评上的短板，也可作为训练/微调后的验证基准。
细粒度多图物体幻觉基准
Fine-Grained Multi Image Object Hallucination Benchmark
做多模态大模型视觉理解时，可把 MIOH 的三类多图推理模式（综合/对比/选择）与三种对抗压力（视觉上下文规模、感知难度、上下文偏置）当作诊断探针，定位幻觉是发生在感知阶段还是跨图对象表征整合阶段，从而指导多图融合模块的设计与评测。
EgoProx：在认知层级上评估多模态大语言模型的自我中心三维邻近推理
EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy
为视觉研究者提供了一个以自我中心视角评估 MLLM 三维邻近关系推理的基准与智能体式数据生成引擎，可用于诊断模型的空间知识是否被有效调用，并指导空间推理 VQA 的指令微调设计。
Ego2Web：基于第一人称视频的网页智能体基准
Ego2Web: A Web Agent Benchmark Grounded in Egocentric Videos
Ego2Web 将第一人称视频感知与网页任务执行串联，为视觉研究者提供了检验视频理解模型能否支撑真实世界在线任务的新基准；其 LLM-as-a-Judge 自动评估方法（Ego2WebJudge）也可迁移到其他需要开放式判断的视觉任务评测中。
ELV-Halluc：面向视频理解中语义聚合幻觉的基准评测
ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Video Understanding
把视频幻觉从「帧级感知错误」重新拆解为「帧级语义聚合为事件级语义时的错误」，并给出可复用的细粒度评测协议与 DPO 缓解方案；做视频 MLLM 时序推理或幻觉评测的工作可直接沿用其 SAH 定义与 8K 对抗视频-文本对数据。
DeepfakeImpact：一个具有现实世界影响力的两阶段深度伪造检测基准
DeepfakeImpact: A Two-Stage Benchmark with Real-World Impact in Deepfake Detection
提出社会误判影响（SMI）指标，将误分类视频的社会危害纳入评估，为视觉检测模型提供超越准确率的伦理感知评测框架，可复用于其他安全敏感检测任务。
概念区域至关重要：一种基于聚类重要性的 CLIP 基准测试方法
Concept Regions Matter: Benchmarking CLIP with a New Cluster-Importance Approach
CCI 利用 CLIP 自身的图像块嵌入做聚类并掩码评估预测变化，为视觉研究者提供了一种无需额外训练即可定位模型决策依据的归因工具；结合 GroundedSAM 可自动区分前景/背景驱动预测，COVAR 基准则系统解耦前景与背景变化，可用于诊断和提升 VLM 的鲁棒性。
超越基于描述文本的查询：视频时刻检索中的搜索式查询
Beyond Caption-Based Queries in Video Moment Retrieval
对做视频-语言定位的人：论文指出 DETR 式 VMR 模型在从描述性 caption 查询迁移到简短搜索查询时，会出现解码器查询坍缩（active decoder-query collapse），并给出通过增加活跃解码器查询数量来缓解的架构改法；这套诊断与改法可直接迁移到其他基于 DETR 的 grounding/定位模型上。
AV-Reasoner：面向多模态大模型的线索锚定音视频计数能力改进与基准构建
AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs
对做视频多模态推理的人，这篇提供了两点可复用：一是用 GRPO + 课程学习把相关任务（如时序定位、事件定位）的能力迁移到计数这类稀疏监督任务上；二是 CG-AV-Counting 的黑盒/白盒双协议评测，可作为检验模型推理链是否真正依赖视觉线索的测试床。