Tag · 2 篇
多模态对比学习
分布 数据集与评测1视觉语言模型1
01 02
SALMUBench:敏感关联级多模态遗忘基准
SALMUBench: A Benchmark for Sensitive Association-Level Multimodal Unlearning
为视觉-语言模型(如 CLIP)的敏感信息遗忘提供了首个细粒度关联级评测基准,包含受污染/干净模型对和结构化留出集,可直接用于诊断遗忘方法的有效性与附带损伤。
用于多模态对齐的双曲 Gramian 体积
Hyperbolic Gramian Volumes for Multimodal Alignment
把多模态对齐中的 Gramian 体积从欧氏空间搬到洛伦兹双曲模型,并用可学习混合保留欧氏判别性,可直接替换视频-文本对比学习中的相似度/对齐损失,提升零样本跨类别判别与语义敏感度。