Tag · 2 篇
时序上下文建模
分布 视频理解与时序1视觉语言模型1
01 02
面向模态缺失 RGBT 跟踪的时空条件去噪 Transformer
Spatio-Temporal Conditional Denoising Transformer for Modality-Missing RGBT Tracking
把扩散式条件去噪引入多模态跟踪的特征重建：用长短期时序上下文作为条件，把可用模态的噪声特征逐步去噪成时序一致的多模态表征，并用噪声调制适配机制在单一网络内统一缺失/完整模态两种输入，可直接迁移到其他模态缺失的多模态融合任务。
GIFT：面向高效视频理解的全局不可替代性帧定位
GIFT: Global Irreplaceability Frame Targeting for Efficient Video Understanding
提出一种免训练的关键帧选择框架，用「定向多样性」把相关性与多样性统一成不可替代性分数，并配合预算感知的自适应迭代选帧；做视频 VLM 推理或长视频理解时，可直接把这一选帧策略插到现有 LLaVA-Video 类模型的输入前端，替代均匀采样。