Tag · 12 篇
时序定位
VideoITG:基于指令时序定位的多模态视频理解
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
把「选哪些帧」变成由用户指令驱动的判别式选择问题,并用 VidThinker 自动生成指令条件下的时序定位标注;做视频 LLM 或长视频理解时,可直接复用这套帧采样监督信号与即插即用的选帧模块。
UFVideo:面向统一细粒度视频协同理解的大语言模型
UFVideo: Towards Unified Fine-Grained Video Cooperative Understanding with Large Language Models
把全局、像素、时序三种粒度的视频理解统一进单个 Video LLM,并用统一的视觉-语言引导对齐动态切换输出(文本、时序定位、grounded mask),为做视频问答、时序定位与指代分割的研究者提供了一个多任务协同的统一建模范式与配套基准。
用视频思考:面向长视频推理的多模态工具增强强化学习
Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
把「按需采样视频帧」做成可调用的视觉工具箱,并用 DGRPO 平衡多任务 RL 中的难度差异,为长视频 MLLM 推理提供了一条可复用的 agentic 训练范式;做视频问答或时序定位时可直接借鉴其多任务数据构造与 RL 策略。
TempR1:通过时序感知多任务强化学习提升多模态大模型的时序理解能力
TempR1: Improving Temporal Understanding of MLLMs via Temporal-Aware Multi-Task Reinforcement Learning
把 GRPO 强化学习扩展到多任务时序训练,并按区间-实例对应关系设计定位奖励,可直接用于长视频时序定位与时间敏感问答的 MLLM 后训练。
ST4R-Splat:4D 高斯泼溅中的时空指代分割
ST4R-Splat: Spatio-Temporal Referring Segmentation in 4D Gaussian Splatting
将指代分割从静态 3D 扩展到动态 4D 高斯泼溅,提出时间不变实例嵌入与实例级时序状态映射,可直接用于语言驱动的 4D 场景理解与编辑。
SAIL:面向弱监督稠密视频描述学习的相似度感知引导与描述间增强
SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning
用跨模态相似度作为弱监督信号来引导高斯掩码聚焦语义相关区域,并用 LLM 合成描述通过掩码间机制提供辅助对齐信号,这套思路可直接迁移到其他只有粗粒度标注的视频时序定位任务(如弱监督动作定位、视频片段检索)。
OmniGround:面向真实复杂场景的综合时空视觉定位基准
OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios
STVG 被拆成「高层时序定位 + 细粒度时空传播」两阶段且免训练,可直接套用到现有多模态大模型上做视频目标定位,无需微调即可提升小目标与遮挡场景的 m_tIoU/m_vIoU。
错误归因:第一人称视频中的细粒度错误理解
Mistake Attribution: Fine-Grained Mistake Understanding in Egocentric Videos
提出细粒度错误归因任务,将错误定位到指令语义角色、不可逆时间点(PNR)及空间位置,并给出自动构建大规模错误样本的数据引擎 MisEngine 与统一注意力模型 MisFormer,可复用于第一人称视频的时序定位与视觉语言理解。
面向深度伪造定位的不一致性感知多模态薛定谔桥
Inconsistency-aware Multimodal Schrodinger Bridge for Deepfake Localization
把薛定谔桥当作无需显式加噪去噪的一致性度量与跨模态信息选择器,用一致性统计非对称分配桥步数,可迁移到任何需要抑制单侧噪声的多模态时序定位任务。
HieraMamba:基于层次化锚框-Mamba池化的视频时序定位
HieraMamba: Video Temporal Grounding via Hierarchical Anchor-Mamba Pooling
用 Mamba 的选择性扫描在多个尺度上生成紧凑锚框 token,替代固定窗口或过度下采样,为长视频时序定位保留细粒度时序保真度;锚框条件与分段池化对比损失可作为通用的多尺度时序表征学习手段迁移到其他视频-语言任务。
HERO:面向开放词表视频时序句子定位的分层嵌入精炼
HERO: Hierarchical Embedding-Refinement for Open-Vocabulary Temporal Sentence Grounding in Videos
论文提出的开放词表时序句子定位任务和分层嵌入精炼框架,为视觉语言模型在词汇偏移下的泛化提供了可复用的评测基准和跨模态对齐方法,特别是语义引导的视觉过滤和对比掩码文本精炼技术,可直接用于视频-语言对齐任务。
CVA:面向视频时序定位的上下文感知视频-文本对齐
CVA: Context-aware Video-text Alignment for Video Temporal Grounding
QCD 的「只混入语义无关片段」的替换池构造方式,可直接迁移到任何视频-文本对比学习(如视频检索、片段定位)中,用来避免 query-agnostic 混合带来的假负样本;CBD 损失在时序边界处强制语义一致性,是提升边界敏感任务的通用手段。