Tag · 12 篇

时序定位

分布 视频理解与时序6视觉语言模型53D 视觉与重建1
01
视觉语言模型 / CVPR2026

VideoITG:基于指令时序定位的多模态视频理解

VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding

把「选哪些帧」变成由用户指令驱动的判别式选择问题,并用 VidThinker 自动生成指令条件下的时序定位标注;做视频 LLM 或长视频理解时,可直接复用这套帧采样监督信号与即插即用的选帧模块。

视频大语言模型时序定位关键帧选择
02
视觉语言模型 / CVPR2026

UFVideo:面向统一细粒度视频协同理解的大语言模型

UFVideo: Towards Unified Fine-Grained Video Cooperative Understanding with Large Language Models

把全局、像素、时序三种粒度的视频理解统一进单个 Video LLM,并用统一的视觉-语言引导对齐动态切换输出(文本、时序定位、grounded mask),为做视频问答、时序定位与指代分割的研究者提供了一个多任务协同的统一建模范式与配套基准。

视频大语言模型多粒度视觉理解时序定位
03
视觉语言模型 / CVPR2026

用视频思考:面向长视频推理的多模态工具增强强化学习

Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning

把「按需采样视频帧」做成可调用的视觉工具箱,并用 DGRPO 平衡多任务 RL 中的难度差异,为长视频 MLLM 推理提供了一条可复用的 agentic 训练范式;做视频问答或时序定位时可直接借鉴其多任务数据构造与 RL 策略。

视频推理工具增强智能体强化学习
04
视频理解与时序 / CVPR2026

TempR1:通过时序感知多任务强化学习提升多模态大模型的时序理解能力

TempR1: Improving Temporal Understanding of MLLMs via Temporal-Aware Multi-Task Reinforcement Learning

把 GRPO 强化学习扩展到多任务时序训练,并按区间-实例对应关系设计定位奖励,可直接用于长视频时序定位与时间敏感问答的 MLLM 后训练。

多任务强化学习GRPO时序定位
05
3D 视觉与重建 / CVPR2026

ST4R-Splat:4D 高斯泼溅中的时空指代分割

ST4R-Splat: Spatio-Temporal Referring Segmentation in 4D Gaussian Splatting

将指代分割从静态 3D 扩展到动态 4D 高斯泼溅,提出时间不变实例嵌入与实例级时序状态映射,可直接用于语言驱动的 4D 场景理解与编辑。

4D-高斯泼溅指代分割多模态大语言模型
06
视频理解与时序 / CVPR2026

SAIL:面向弱监督稠密视频描述学习的相似度感知引导与描述间增强

SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning

用跨模态相似度作为弱监督信号来引导高斯掩码聚焦语义相关区域,并用 LLM 合成描述通过掩码间机制提供辅助对齐信号,这套思路可直接迁移到其他只有粗粒度标注的视频时序定位任务(如弱监督动作定位、视频片段检索)。

弱监督学习跨模态对齐稠密视频描述
07
视觉语言模型 / CVPR2026

OmniGround:面向真实复杂场景的综合时空视觉定位基准

OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios

STVG 被拆成「高层时序定位 + 细粒度时空传播」两阶段且免训练,可直接套用到现有多模态大模型上做视频目标定位,无需微调即可提升小目标与遮挡场景的 m_tIoU/m_vIoU。

时序定位视觉定位基准数据集
08
视频理解与时序 / CVPR2026

错误归因:第一人称视频中的细粒度错误理解

Mistake Attribution: Fine-Grained Mistake Understanding in Egocentric Videos

提出细粒度错误归因任务,将错误定位到指令语义角色、不可逆时间点(PNR)及空间位置,并给出自动构建大规模错误样本的数据引擎 MisEngine 与统一注意力模型 MisFormer,可复用于第一人称视频的时序定位与视觉语言理解。

第一人称视频时序定位错误检测
09
视频理解与时序 / CVPR2026

面向深度伪造定位的不一致性感知多模态薛定谔桥

Inconsistency-aware Multimodal Schrodinger Bridge for Deepfake Localization

把薛定谔桥当作无需显式加噪去噪的一致性度量与跨模态信息选择器,用一致性统计非对称分配桥步数,可迁移到任何需要抑制单侧噪声的多模态时序定位任务。

深度伪造检测多模态融合薛定谔桥
10
视频理解与时序 / CVPR2026

HieraMamba:基于层次化锚框-Mamba池化的视频时序定位

HieraMamba: Video Temporal Grounding via Hierarchical Anchor-Mamba Pooling

用 Mamba 的选择性扫描在多个尺度上生成紧凑锚框 token,替代固定窗口或过度下采样,为长视频时序定位保留细粒度时序保真度;锚框条件与分段池化对比损失可作为通用的多尺度时序表征学习手段迁移到其他视频-语言任务。

时序定位Mamba-状态空间模型层次化多尺度建模
11
视觉语言模型 / CVPR2026

HERO:面向开放词表视频时序句子定位的分层嵌入精炼

HERO: Hierarchical Embedding-Refinement for Open-Vocabulary Temporal Sentence Grounding in Videos

论文提出的开放词表时序句子定位任务和分层嵌入精炼框架,为视觉语言模型在词汇偏移下的泛化提供了可复用的评测基准和跨模态对齐方法,特别是语义引导的视觉过滤和对比掩码文本精炼技术,可直接用于视频-语言对齐任务。

开放词表时序定位跨模态对齐
12
视频理解与时序 / CVPR2026

CVA:面向视频时序定位的上下文感知视频-文本对齐

CVA: Context-aware Video-text Alignment for Video Temporal Grounding

QCD 的「只混入语义无关片段」的替换池构造方式,可直接迁移到任何视频-文本对比学习(如视频检索、片段定位)中,用来避免 query-agnostic 混合带来的假负样本;CBD 损失在时序边界处强制语义一致性,是提升边界敏感任务的通用手段。

视频-文本对齐对比学习数据增强