Tag · 6 篇
注意力融合
TRCoRSurg:面向手术视频三元组识别的时序-关系协同推理
TRCoRSurg: Temporal-Relational Co-Reasoning for Surgical Video Triplet Recognition
面向手术视频的三元组(器械-动作-目标)识别框架,其多尺度类别激活图引导的关系提取与双向时序-关系融合注意力可迁移到任何需要建模帧内标签共现与帧间语义一致性的视频结构化识别任务;同时提出的 TCER 指标为衡量跨实体因果/语义一致性提供了可复用的评测思路。
SemVideo:通过分层语义引导从大脑活动中重建你所观看的内容
SemVideo: Reconstructs What You Watch from Brain Activity via Hierarchical Semantic Guidance
把分层语义提示(静态锚框描述、运动叙述、整体摘要)作为条件注入视频生成,并用三分支注意力融合重建运动模式,这套「语义引导 + 运动解耦」的思路可迁移到视频预测、条件视频生成与跨模态对齐任务。
指向部件:多模态大语言模型中的免训练少样本视觉定位
Pointing at Parts: Training-Free Few-Shot Grounding in Multimodal LLMs
提出一种免训练、即插即用的少样本部件级指向方法,通过融合文本与视觉注意力图以及自监督视觉对应,可提升MLLM在细粒度空间定位任务上的表现,为视觉语言模型的空间理解提供可复用技术。
HOPS:基于注意力感知过滤与亲和度引导增强的层次化开放词表部件分割
HOPS: Hierarchical Open-vocabulary Part Segmentation with Attention-Aware Filtering and Affinity-Guided Enhancement
将 CLIP 的语义对齐与 DINO 的结构感知通过双向注意力融合,并用注意力感知过滤抑制物体过分割、用亲和度引导增强缓解部件欠分割,这套两阶段流程可直接迁移到开放词表部件/属性分割与细粒度掩码生成任务。
基于任务导向三维高斯事件表征的事件相机运动去模糊
Event-Based Motion Deblurring Using Task-Oriented 3D Gaussian Event Representations
把事件流用可学习的3D高斯核聚合成对运动方向和速度敏感的局部运动特征,替代手工事件表征(如事件帧、体素网格),可直接迁移到其他事件相机+RGB的底层视觉任务(去模糊、插帧、HDR重建)中作为事件编码前端。
CICA:耦合置信度感知预训练与置信度引导注意力,实现鲁棒的多模态情感分析
CICA: Coupling Confidence-Aware Pretraining with Confidence-Informed Attention for Robust Multimodal Sentiment Analysis
把「每个模态编码器自估置信度」作为预训练目标,再用置信度加权注意力做融合,这套机制可直接迁移到视觉-语言任务中处理图像/文本模态噪声或缺失的场景(如噪声图文检索、缺失模态的VQA)。