Tag · 8 篇

关键帧选择

分布视觉语言模型3视频理解与时序3数据集与评测1生成模型与扩散1

VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding

把「选哪些帧」变成由用户指令驱动的判别式选择问题，并用 VidThinker 自动生成指令条件下的时序定位标注；做视频 LLM 或长视频理解时，可直接复用这套帧采样监督信号与即插即用的选帧模块。

Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding

把「草稿模型快速提议关键帧 + 目标模型验证并迭代精化」的推测式双模型协作引入 thinking-with-frames 流程，可直接用于降低长视频 MLLM 推理中冗余多模态上下文的开销，其帧级证据标注与 RL 训练范式也可迁移到其他需要稀疏帧采样的视频推理任务。

Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation

把 RVOS 拆成由 MLLM 驱动的多智能体逐步推理流程，用 Questioner-Responder 反思链校验中间结果并回灌下一轮推理，配合由粗到细的帧选择与动态视觉焦点布局；这套无需微调即可接入新 MLLM 的推理框架，可直接迁移到视频问答、时序定位等需要跨帧证据聚合的视觉-语言任务。

PRISM: Video Dataset Condensation with Progressive Refinement and Insertion for Sparse Motion

把视频压缩成极少量关键帧加插值来构造蒸馏数据集，这种「按需插入关键帧」的思路可直接迁移到视频训练数据筛选、高效视频预训练和视频 token 压缩等环节。

OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory

将多镜头视频生成重构为逐镜头自回归的下一镜头生成任务，并复用预训练 I2V 模型；其帧选择构建全局记忆与重要性引导的 patch 化压缩上下文，可直接迁移到长视频生成、故事化叙事以及任何需要跨片段长程一致性的条件生成任务。

GIFT: Global Irreplaceability Frame Targeting for Efficient Video Understanding

提出一种免训练的关键帧选择框架，用「定向多样性」把相关性与多样性统一成不可替代性分数，并配合预算感知的自适应迭代选帧；做视频 VLM 推理或长视频理解时，可直接把这一选帧策略插到现有 LLaVA-Video 类模型的输入前端，替代均匀采样。

Efficient Frame Selection for Long Video Understanding via Reinforcement Learning

把「选哪些帧」当作可学习策略，用分层奖励的强化学习训练轻量选择器，可直接插到任意 MLLM 前端替代均匀采样，是长视频理解中低成本提升输入质量的通用手段。

AXG-Reasoner: Error Detection and Explanation in Long Task Videos with Vision-Language Models

用冻结 VLM 配合动作执行图（AXG）与时序动作分割模型，把长视频切分成细粒度子动作片段，再用少量关键帧和增强提示逐段查询 VLM 做错误检测与解释；这套「TAS 分段 + 图对齐 + 稀疏关键帧查询」的流程可直接迁移到长视频中稀疏事件定位与细粒度时序推理任务。