Tag · 29 篇
视频问答
VideoNet：面向领域特定动作识别的大规模数据集
VideoNet: A Large-Scale Dataset for Domain-Specific Action Recognition
提供了一个覆盖38个领域、1087类动作的视频动作识别基准与近50万视频问答对训练集，可用于评测和微调VLM的细粒度动作理解与少样本能力，并揭示当前VLM在领域特定动作上的显著短板。
VideoAuto-R1：思考一次、回答两次的视频自动推理
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
提出「按需推理」机制：用初始答案的置信度决定是否触发思维链，可直接迁移到视频问答、视觉定位等 VLM 推理流程中，在几乎不掉点的前提下把平均输出长度压缩 3.3 倍，是降低多模态大模型推理延迟的可复用策略。
纯视频心智理论：增强多模态大语言模型中的心智理论能力
Video-Only ToM: Enhancing Theory of Mind in Multimodal Large Language Models
提出一种通过计算干预向量来对齐视觉表征与正确语义目标的方法，可引导模型注意力跨层关注视觉特征，减少对语言先验的依赖；该技术可复用于其他需要增强视觉 grounding 的多模态推理任务。
面向长视频理解的视频面板
Video Panels for Long Video Understanding
提出一种免训练、参数无关的视觉提示策略，通过将多帧拼接为面板图像来权衡空间细节与时序分辨率，可直接集成到现有视频语言模型中提升长视频理解性能。
VRR-QA：超越显式线索的视频视觉关系推理
VRR-QA: Visual Relational Reasoning in Videos Beyond Explicit Cues
为视频问答提供了专门考察跨帧隐式关系推理的评测基准，可用于诊断现有 VideoQA 模型对表层视觉线索的依赖，并作为隐式推理能力训练与评估的测试平台。
面向稀疏视频理解与推理
Towards Sparse Video Understanding and Reasoning
把「选哪些帧」变成多轮推理中的可学习决策：用对话历史作记忆、跨轮维护思维链、自纠错保证结构有效，可直接套到任意 VLM 的视频输入前端，替代均匀采样以在更少帧下提升 VQA 准确率。
先思考，再验证：面向长视频理解的假设验证多智能体框架
Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding
将长视频问答重构为「先提出可检验假设、再定位证据验证」的多智能体流程，为视觉语言模型处理长视频时抑制语义漂移和相关性错误提供了一种可复用的推理范式。
TempR1：通过时序感知多任务强化学习提升多模态大模型的时序理解能力
TempR1: Improving Temporal Understanding of MLLMs via Temporal-Aware Multi-Task Reinforcement Learning
把 GRPO 强化学习扩展到多任务时序训练，并按区间-实例对应关系设计定位奖励，可直接用于长视频时序定位与时间敏感问答的 MLLM 后训练。
SciEducator：基于戴明循环多智能体系统的科学视频理解与教育
SciEducator: Scientific Video Understanding and Educating via Deming-Cycle Multi-Agent System
将戴明循环（Plan-Do-Study-Act）重构为多智能体自演化推理与反馈机制，用于科学视频的逐步推理与外部知识整合；该迭代式智能体框架可迁移到需要专业领域知识注入的视频问答与教学场景。
SVAgent：故事线引导的跨模态多智能体协作长视频理解
SVAgent: Storyline-guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration
把「故事线」作为可迭代演化的中间表示，配合跨模态决策智能体与元智能体做答案对齐，为长视频问答提供了一种无需额外训练、可插拔的多智能体推理框架，可直接迁移到长视频理解与时序推理任务。
强化结构化思维链以提升视频理解
Reinforcing Structured Chain-of-Thought for Video Understanding
提出无需 SFT 的单阶段强化学习框架 SDRL，用「总结-思考-回答」结构化思维链和两个自监督机制（CVK 约束视觉事实一致性、DVR 按组准确率调节推理多样性）来抑制视频推理中的思维漂移；做视频 MLLM 推理增强的工作可直接复用该 GRPO 目标改造思路。
QuantiPhy：评估视觉语言模型物理推理能力的定量基准
QUANTIPHY: A Quantitative Benchmark Evaluating Physical Reasoning Abilities of Vision-Language Models
该基准把 VLM 的物理理解从定性 VQA 推进到对尺寸、速度、加速度的定量数值估计，并揭示模型依赖预训练世界知识而非忠实使用视觉输入；做视频理解或多模态推理的研究者可用它诊断模型是否真正从像素中推断运动学量，也可借鉴其标准化提示与评分协议来构建数值化评测。
MovieRecapsQA：一个多模态开放式视频问答基准
MovieRecapsQA: A Multimodal Open-Ended Video Question-Answering Benchmark
对做视频理解或多模态大模型的人，这里提供了一个可复用的开放式视频问答评测协议：用「答案应包含的事实」构造无参考指标，并可在全长电影、完整回顾视频、对齐片段等不同视觉输入设定下对比模型，从而把视觉感知与视觉推理的瓶颈分开诊断。
MSJoE：联合演化多模态大模型与采样器以实现高效长视频理解
MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding
把关键帧选择建模为可微/可强化学习的采样权重预测，并用 MLLM 推理出的查询与冻结 CLIP 的相似度矩阵作为采样依据，为长视频 VLM 提供了一套可联合训练、可复用的帧选择范式。
MA-Bench：迈向细粒度微动作理解
MA-Bench: Towards Fine-grained Micro-Action Understanding
为视觉研究者提供了一个针对细微人体动作的三层评测协议（感知/关系理解/解释推理）和 20.5K 结构化动作描述训练语料，可直接用于诊断和微调视频 MLLM 在细粒度身体部位动态上的短板。
在 4D 中学习推理：面向视觉语言模型的动态空间理解
Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models
把相机位姿、局部点云、物体掩码与 3D 轨迹等 4D 重建先验压缩成少量 geometry tokens 注入 VLM，为在视觉语言模型中引入几何先验提供了一条轻量、可复用的接口思路。
通过数据高效强化学习激发多模态大模型的多功能视频推理能力
Incentivizing Versatile Video Reasoning in MLLMs via Data-Efficient Reinforcement Learning
对做视频多模态大模型的人，这篇给出了用多任务冷启动加多任务强化学习、再配合推理阶段多模态推理与动态采样的低成本训练配方，仅用 3k 冷启动数据与 5k RL 数据即可显著提升视频推理表现，可作为替代高成本长链语言 RL 的可复用方案。
HanDyVQA：面向细粒度手物交互动态的视频问答基准
HanDyVQA: A Video QA Benchmark for Fine-Grained Hand-Object Interaction Dynamics
提供了一个细粒度手物交互视频问答基准，并配套物体/部件级分割掩码，可用于评测视频基础模型的时空与部件级几何推理能力；其发现「显式注入 HOI 线索到视觉特征可提升性能」为设计 HOI 感知的视频表征提供了可复用思路。
HERBench：视频问答中多证据整合的基准
HERBench: A Benchmark for Multi-Evidence Integration in Video Question Answering
HERBench 提供了强制多证据整合的视频问答基准，并引入最小所需帧集（MRFS）量化证据需求，可用于诊断视频大模型在检索与融合上的瓶颈，指导设计更鲁棒的多帧推理模型。
增强视频视觉语言模型的海马体感知
Enhancing Video Vision Language Model with Hippocampal Sensing
提出跨模态预测感知范式与对比强化学习算法 VANAO，可借鉴用于视频-音频联合推理与选择性信息获取，提升视频 VLM 的推理效率与准确性。
帧链：通过帧感知推理提升多模态大语言模型的视频理解能力
Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning
提出单阶段帧感知推理链（Chain-of-Frames），让视频LLM在推理中显式引用关键帧，无需辅助模块即可提升时序定位与视频理解性能；其构建的CoF-Data数据集和合成数据增强策略可复用于视频推理任务。
CaST-Bench：面向视频问答的因果链视觉定位时空推理基准
CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering
该基准要求模型在视频中定位因果链的时空证据（时序片段和边界框轨迹），为视觉语言模型的可解释推理和减少虚假关联提供了可评估的测试平台，其标注管线和评估指标可直接用于训练和评测更透明的视频问答模型。
CURVE：面向文化与多语言长视频推理的基准
CURVE: A Benchmark for Cultural and Multilingual Long Video Reasoning
提供了一个以原生语言、区域文化视频构建的长视频推理基准，并给出基于推理链构建证据图来定位细粒度推理错误的迭代评测策略，可直接用于诊断 Video-LLM 在视觉文化感知环节的失效点。
Video-LLM 如何回答视频问题的实证研究
An Empirical Study on How Video-LLMs Answer Video Questions
用注意力敲除（temporal/spatial/language-to-video）逐层分析 Video-LLM，揭示视频信息抽取集中在浅层、中间层是关键离群层、时空建模更依赖语言引导的检索而非视频 token 自注意力；这些结论可直接用于剪掉冗余的视频自注意力计算，为 Video-LLM 的推理加速和结构设计提供依据。
面向视频-语言理解持续学习的可供性优先分解
Affordance-First Decomposition for Continual Learning in Video-Language Understanding
把视频映射到缓慢变化的 affordance token 作为共享时间对齐基底、只让轻量查询路由调度器做适配，这一「稳定基底 + 定向可塑」的拆分思路可直接迁移到视频-语言模型的持续学习与免回放增量训练中。
AV-Reasoner：面向多模态大模型的线索锚定音视频计数能力改进与基准构建
AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs
对做视频多模态推理的人，这篇提供了两点可复用：一是用 GRPO + 课程学习把相关任务（如时序定位、事件定位）的能力迁移到计数这类稀疏监督任务上；二是 CG-AV-Counting 的黑盒/白盒双协议评测，可作为检验模型推理链是否真正依赖视觉线索的测试床。
面向高效长视频推理的多智能体感知-动作联盟
A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning
提出一种多智能体感知-动作探索框架，通过线索引导的块对齐和跨审查机制，高效处理长视频推理，可复用于视频问答和长视频理解任务。
4DP-QA：面向视觉语言模型 4D 感知的可扩展问答
4DP-QA: Scalable QA for 4D Perception in Vision Language Models
提出 True-Motion Tracking 这一固定参考系下的跟踪表述，把相机运动与物体运动解耦，可直接用于构建视频/4D 场景的 VLM 训练数据与评测基准，缓解 VLM 只能通过 2D 投影间接观察运动的问题。
4D-RGPT：通过感知蒸馏迈向区域级 4D 理解
4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation
把冻结的 4D 专家模型的表征通过感知蒸馏迁移进多模态大模型，为视频 MLLM 注入深度感知与时序动态理解能力；区域级提示的 4D VQA 设定也可直接复用于动态场景的细粒度推理评测。