Tag · 2 篇
交叉注意力融合
分布 视觉语言模型1视频理解与时序1
01 02
面向多模态情感分析的三子空间解耦
Tri-Subspaces Disentanglement for Multimodal Sentiment Analysis
把多模态特征显式拆成全局共享、模态对共享、模态私有三类子空间,并用解耦监督加结构化正则保持纯度,这套「按共享范围分层解耦」的思路可直接迁移到视觉-语言任务(如VQA、图文检索)的表征融合环节,替代笼统的共享/私有二分。
SAVA-X:基于场景自适应视角对齐与双向跨视角融合的第一人称到第三人称模仿误差检测
SAVA-X: Ego-to-Exo Imitation Error Detection via Scene-Adaptive View Alignment and Bidirectional Cross View Fusion
面向第一人称与第三人称异步、长度不匹配视频的跨视角时序对齐与融合框架,其视图条件自适应采样和双向交叉注意力可直接迁移到 egocentric-exocentric 视频配对、跨视角动作定位与步骤级质量评估等任务。