Tag · 3 篇
跨模态对比学习
分布 3D 视觉与重建1视觉语言模型1鲁棒性与安全1
01 02 03
RI-Mamba:面向鲁棒文本到形状检索的旋转不变 Mamba
RI-Mamba: Rotation-Invariant Mamba for Robust Text-to-Shape Retrieval
把旋转不变性直接做进 Mamba 状态空间模型的词元序列构造里(全局/局部参考系解耦位姿与几何 + Hilbert 排序),并用特征级线性调制回注朝向嵌入,这套线性时间、对任意朝向鲁棒的 3D 表征可直接迁移到点云分类、分割、配准等下游任务。
Mario:基于大语言模型的多模态图推理
Mario: Multimodal Graph Reasoning with Large Language Models
把图拓扑作为结构先验注入视觉-语言特征对齐,并用可学习路由器为每个节点挑选最有信息量的模态配置,这一「图条件化 VLM + 模态自适应路由」思路可迁移到视觉场景图、多模态知识图谱以及图文检索中的结构化对齐问题。
面向扩散生成图像检测的跨模态表征学习
Cross-modal Representation Learning for Diffusion-generated Image Detection
提出跨模态对比学习与互蒸馏,将RGB与邻域像素关系模态的特征对齐,学习伪造感知嵌入空间,可直接用于提升扩散生成图像检测的泛化性。