Tag · 8 篇
视频推理
VAST:面向数据高效视频推理的视频能力分层分类体系
VAST: Video Ability-Stratified Taxonomy for Data-Efficient Video Reasoning
对做视频 MLLM 推理的人,这篇给出了按「感知-推理-认知」能力分层组织训练数据、并用一致性奖励做 RL 微调的配方,可在不改架构的前提下大幅降低 RL 训练所需的样本量与 GPU 时数,VAST-Bench 也可直接作为能力分层评测集使用。
用视频思考:面向长视频推理的多模态工具增强强化学习
Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
把「按需采样视频帧」做成可调用的视觉工具箱,并用 DGRPO 平衡多任务 RL 中的难度差异,为长视频 MLLM 推理提供了一条可复用的 agentic 训练范式;做视频问答或时序定位时可直接借鉴其多任务数据构造与 RL 策略。
少选多推:以证据纯度优先的视频推理
Select Less, Reason More: Prioritizing Evidence Purity for Video Reasoning
提出证据感知强化学习框架,通过动态选择关键帧并在其周围局部重采样,为视频LLM提供高纯度视觉证据,可复用于需要精细时序细节的视频理解任务。
强化学习以学习,选举以推理:视频推理的双范式
Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning
提出一种训练时用强化学习生成结构化证据、推理时用证据加权选举的范式,可迁移到视频问答、时序定位等需要证据对齐的视觉语言任务,提升推理可靠性与可解释性。
Conan:在多尺度视觉证据上像侦探一样推理的渐进式学习
Conan: Progressive Learning to Reason Like a Detective over Multi-Scale Visual Evidence
把「帧级证据定位」显式建模为推理轨迹的一部分(识别-推理-动作),并用 RLVR 分阶段冷启动训练,可直接迁移到需要视觉 grounding 的多步 VQA、长视频问答与视频 agent 决策场景。
超越感知捷径:面向轻量级多模态大模型可泛化视频推理的因果启发去偏优化
Beyond Perceptual Shortcuts: Causal-Inspired Debiasing Optimization for Generalizable Video Reasoning in Lightweight MLLMs
对做轻量级视频 MLLM 的研究者,这篇给出了一个可复用的去偏训练范式:先训练一个专门拟合数据偏置的「偏置模型」,再用带排斥项的 CDPO 目标把主模型推离捷径逻辑,可在不做 SFT、仅用 1% 数据做 RL 的条件下提升视频推理泛化性。
Act2See:面向视频推理的涌现式主动视觉感知
Act2See: Emergent Active Visual Perception for Video Reasoning
把「取帧/生成帧」作为可学习的动作嵌入文本思维链,让 VLM 在推理过程中自主决定何时检索真实帧、何时合成反事实帧;这一「主动视觉感知」范式可直接迁移到需要多步视觉证据获取的视频问答与长视频理解任务。
APPO:面向视频推理的注意力引导感知策略优化
APPO: Attention-guided Perception Policy Optimization for Video Reasoning
把强化学习中的组内相对优势换成基于注意力、跨响应聚焦同一关键帧的 token 级稠密奖励,可在无细粒度标注下提升视频多模态模型的感知能力,这套奖励设计可直接迁移到其他视频 VLM 的 RL 后训练流程。