Tag · 5 篇

视频理解基准

分布数据集与评测4视觉语言模型1

Time Blindness: Why Video-Language Models Can't See What Humans Can?

SpookyBench 提供了一个极端设定：空间信息被噪声帧完全遮蔽，只保留时序结构，可直接用来诊断 VLM 是否真正在做时序推理，而非依赖帧级空间特征；做视频理解或时序建模的工作可以把它当作压力测试集，并据此设计解耦空间依赖的架构或训练目标。

PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs

对做视频 LLM 的人，这是一个即插即用的推理期补丁：不改结构、不重训，只在各注意力头上加相反相位偏移再聚合，就能让多模态 RoPE 的时序核变平滑、注意力对帧时序抖动更稳；可直接套到任意用 3D RoPE 的视频 LLM 上提升时序鲁棒性。

PAI-Bench: A Comprehensive Benchmark For Physical AI

做视频生成或视频理解的人可以直接用 PAI-Bench 的 2,808 个真实案例和任务对齐指标，检验模型是否保持物理一致的动力学，而不是只看视觉保真度；也可借鉴其条件视频生成与视频理解统一评测的协议设计。

HumanVBench: Probing Human-Centric Video Understanding in MLLMs with Automatically Synthesized Benchmarks

提供了一套可复用的自动化基准构建流水线：用强模型生成高质量视频标注，并把模型自身的错误系统性地转化为干扰项，从而以极低人工成本构造细粒度多选题评测集；做视频 MLLM 评测或需要构造难负样本的视觉研究者可直接借鉴这一「错误即干扰项」的合成思路。

Flat-Pack Bench: Evaluating Spatio-Temporal Understanding in Large Vision-Language Models through Furniture Assembly

该基准通过家具组装任务和视觉提示，系统评测LVLM的细粒度时序排序、状态定位、部件匹配与跟踪能力，为视频理解模型在复杂空间交互场景下的评估提供了新协议和诊断工具。