Tag · 4 篇
记忆库
Narrative Weaver:面向多模态条件下的可控长程视觉一致性
Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning
动态记忆库(Memory Bank)机制为长序列生成中的视觉漂移问题提供了可复用的思路,可迁移到视频生成、漫画/分镜生成等需要跨场景一致性的任务;其多阶段渐进训练策略也展示了在有限数据下复用预训练模型做细粒度控制的方法。
M4-SAM:面向 RGB-D 视频显著性目标检测的多模态混合专家与记忆增强 SAM
M4-SAM: Multi-Modal Mixture-of-Experts with Memory-Augmented SAM for RGB-D Video Salient Object Detection
把 SAM2 的线性 LoRA 换成带卷积专家的模态感知 MoE-LoRA,并用伪掩码引导记忆库实现无提示初始化,这套 PEFT + 记忆引导思路可直接迁移到其他需要多模态适配的 SAM2 下游分割任务。
面向多目标跟踪的双层适应:从经验与直觉构建测试时校准
Dual-level Adaptation for Multi-Object Tracking: Building Test-Time Calibration from Experience and Intuition
把 TTA 从逐帧适应扩展到跨帧、跨视频的时序与身份关联层面:用瞬时记忆做快速关联预测,再用历史测试视频积累的经验对预测做再校准,可直接迁移到任何在线跟踪器(如 ByteTrack、BoT-SORT)的推理阶段以缓解外观/运动/类别分布漂移。
通过稀疏对齐与单模态记忆库弥合组合零样本学习中的模态间隙
Bridging the Modality Gap in Compositional Zero-Shot Learning via Sparse Alignment and Unimodal Memory Bank
针对 CLIP 图文模态间隙,用稀疏对齐把文本表征直接绑定到语义相关的视觉 patch,并用纯视觉记忆库做分类,这套思路可迁移到任何依赖 CLIP 对齐的零样本/开放词表视觉任务。