Tag · 31 篇
跨模态检索
当线条遇上纹理：面向跨稀疏度对应的空间-频率对齐扩散特征
When Lines Meet Textures: Spatial-Frequency Aligned Diffusion Features for Cross-Sparsity Correspondence
把扩散模型中间层特征当作免训练的描述子来做稀疏线条图与纹理照片之间的匹配，并指出仅做空间对齐不够、需在频域聚合低频分量以抹平纹理密度差异——这套双域对齐思路可直接迁移到草图检索、跨模态配准、线稿上色等需要跨越抽象层级差异的匹配任务。
WHU-MARS：面向任意场景行人重识别的多光谱空地基准
WHU-MARS: A Multispectral Aerial-Ground Benchmark Towards Any-Scenario Person Re-Identification
WHU-MARS 提供了覆盖 RGB/近红外/热红外 × 地面/无人机视角的统一异构图库，可直接用于评测「单模型跨任意模态-视角组合检索」；其 ProCA+GPD 思路（先把多视角特征聚成模态中心再对齐到身份中心，并用全局身份原型做对比）可作为处理模态/视角域偏置的通用表征对齐手段迁移到其他跨域检索任务。
VidTAG：面向全球尺度的时序对齐视频到 GPS 地理定位与去噪序列预测
VidTAG: Temporally Aligned Video to GPS Geolocalization with Denoising Sequence Prediction at a Global Scale
把视频地理定位从图像检索式画廊匹配转为帧到 GPS 坐标的检索，并用 TempGeo 对齐帧嵌入、GeoRefiner 编码器-解码器做时序一致的 GPS 序列精修；对做视觉定位、跨模态检索与视频时序建模的人，这套「坐标库替代图像库 + 时序对齐精修」的范式可直接迁移到轨迹估计类任务。
Ultrasound-CLIP：面向超声图像-文本理解的语义感知对比预训练
Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding
对做医学视觉-语言预训练的人，这篇给出了一个可复用的思路：用领域诊断属性体系构造语义软标签和语义损失，替代 CLIP 的硬负样本对比，并额外引入由文本属性构建的异构图模态做结构化推理；US-365K 与 UDT 体系也可直接作为超声域 VLM 的评测与预训练资源。
TriSim：基于极值理论的三维相似度建模用于遥感图文检索中的假阴性缓解
TriSim: Tri-Dimensional Similarity Modeling with Extreme Value Theory for False-Negative Mitigation in Remote Sensing Image-Text Retrieval
用三维负样本相似度空间（图-图、图-文、文-文）替代单一跨模态阈值来判定假阴性，并用极值理论对尾部样本建模、在三元组损失中赋概率权重；这套假阴性筛选与加权机制可直接迁移到其他图文/视频-文本对比学习检索任务中。
文本引导特征解耦的跨模态步态识别
Text-guided Feature Disentanglement for Cross-modal Gait Recognition
用 LLM 生成的模态感知文本先验作为语义锚点，配合 CLIP 多粒度编码器把激光雷达点云序列与 RGB 视频对齐到统一视觉-语言空间，再通过 top-k 文本匹配与残差正交约束解耦出模态共享步态特征；这套「文本引导解耦」思路可迁移到其他 2D-3D 跨模态检索与识别任务。
TIGeR：时间、图像与地理位置检索的统一框架
TIGER: A Unified Framework for Time, Images and Geo-location Retrieval
TIGeR 用同一套表征同时完成地理定位、拍摄时间预测与「同地异时」图像检索，其核心思路是在外观剧烈变化下保持地点身份不变——这对做跨视角/跨季节地点识别、以及需要把时间作为检索条件的视觉检索系统，提供了一个可复用的多模态查询接口与训练范式。
多多益善：面向高阶多模态对齐的对比融合
THE MORE, THE MERRIER: CONTRASTIVE FUSION FOR HIGHER-ORDER MULTIMODAL ALIGNMENT
ConFu 把「模态对」与「模态对+第三模态」的融合嵌入一起拉进同一对比空间，可直接用于视觉-语言-音频等三模态检索与分类；做 VLM 时若需建模图像、文本、音频之间的 XOR 式互补关系，可把该融合对比项接到现有 CLIP 式双塔上，而不必放弃成对对齐。
StructXLIP：利用多模态结构线索增强视觉-语言模型
StructXLIP: Enhancing Vision-language Models with Multimodal Structural Cues
StructXLIP 将边缘图作为视觉结构代理，并设计结构中心损失来增强视觉-语言对齐，为跨模态检索提供了一种即插即用的微调策略，可复用于其他多模态模型的结构感知训练。
面向噪声对应的鲁棒遥感图像-文本检索
Robust Remote Sensing Image-Text Retrieval with Noisy Correspondence
针对视觉-语言检索中图文对不完美匹配的现实问题，提出基于损失幅度的样本可靠性加权与自步学习调度，可迁移到其他跨模态检索或对比学习训练流程中以提升对噪声对应的鲁棒性。
重新审视跨模态锚框对齐以缓解误差累积
Rethinking Cross-Modal Anchor Alignment for Mitigating Error Accumulation
针对跨模态匹配中干净锚框对也会累积误差的问题，用傅里叶变换压制非关键细粒度扰动、以角度一致性重估软标签，可直接迁移到图文检索与跨模态对齐训练中抑制噪声累积。
R$^2$TUA：基于重建残差的针对文本-图像行人重识别的目标与非目标攻击
R$^2$TUA: Reconstruction-residual Based Targeted and Untargeted Attack Against Text-Image Person Re-Identification
提出基于重建残差的对抗扰动生成方法，利用Transformer渐进多模态融合和软截断函数，可迁移至其他跨模态检索系统的对抗攻击与鲁棒性评估。
ProM3E：面向生态学的概率掩码多模态嵌入模型
ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology
在嵌入空间做掩码模态重建、支持任意模态到任意模态的生成与模态反转，这种「学什么该融合」的概率式融合思路可直接迁移到视觉-文本-音频等多模态检索与缺失模态补全任务。
POGA：用于细粒度跨模态检索的释义与对立图对齐
POGA: Paraphrased and Oppositional Graph Alignment for Fine-Grained Cross-Modal Retrieval
POGA 将图像和文本解析为结构化图，并通过多源图增强生成释义正例和对抗负例，为跨模态细粒度对齐提供丰富的监督信号；其混合多粒度对齐目标（全局、节点、关系、焦点反驳）可复用于任何需要细粒度图文匹配的视觉语言任务。
建模人类草图的视觉歧义性
Modeling the Visual Ambiguity of Human Sketches
AmbiScore 把「草图-图像对本身有多歧义」量化成一个可计算的指标，并据此自适应调节监督强度；做跨模态对齐或噪声监督训练时，可以直接借用这种按样本不确定性加权监督的思路，Purified Matching 的 shape jigsaw / texture swapping 也可作为解耦结构与外观的通用数据构造手段。
MOON2.0：面向电商商品理解的动态模态均衡多模态表征学习
MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding
模态驱动的混合专家按样本模态构成自适应路由，配合产品内图文双层对齐，可直接迁移到图文检索与商品表征学习；其图文协同增强与动态样本过滤为多模态训练数据清洗提供可复用流程。
MMGait：迈向多模态步态识别
MMGait: Towards Multi-Modal Gait Recognition
为视觉研究者提供了一个覆盖 RGB、深度、红外、激光雷达与 4D 雷达五种传感器、共十二种模态的步态识别基准，可用于研究跨模态检索与模态互补性；其 OmniGait 基线通过共享嵌入空间统一单模态、跨模态与多模态三种范式，可作为多模态表征对齐的可复用思路。
先想象后聚焦：扩散引导的寄存器增强部分相关视频检索
Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retrieval
用文本监督的截断扩散模型从视频分布中生成全局语义寄存器，再经寄存器增强的高斯注意力与视频 token 融合，可作为跨模态检索中缓解局部噪声与查询歧义的通用特征增强模块。
GeoBridge：一种语义锚定的多视角基础模型，桥接图像与文本以实现地理定位
GeoBridge: A Semantic-Anchored Multi-View Foundation Model Bridging Images and Text for Geo-Localization
用文本描述作为语义锚点桥接无人机、街景全景与卫星多视角特征，实现双向跨视角匹配与语言到图像检索；其语义锚点对齐机制可迁移到任何需要跨视角/跨模态特征对齐的检索任务。
Gastric-X：用于推进胃癌分析中视觉语言模型的多模态多期基准数据集
Gastric-X: A Multimodal Multi-Phase Benchmark Dataset for Advancing Vision-Language Models in Gastric Cancer Analysis
为医学视觉语言模型提供了一个包含配对CT、内镜图像、生化指标和专家报告的多模态基准，可用于评测和开发面向真实临床工作流的VQA、报告生成、跨模态检索和病灶定位方法。
EEGiT：让视觉 Transformer 理解脑电信号
EEGiT: Teaching Vision Transformers to Understand the EEG signal
把时序脑电信号重排成类图像 patch 并插值对齐空间拓扑，从而直接复用预训练 ViT 的视觉先验——这套「非图像模态转 patch 后套用 ViT」的流程可迁移到其他低数据模态（如传感器、生理信号）的表征学习与检索。
DialogueVPR：迈向对话式视觉地点识别
DialogueVPR: Towards Conversational Visual Place Recognition
把语言引导的地理定位从静态单样本检索改写为多轮对话式推理，其 DQ-pilot 提问器与 PRG 奖励可直接迁移到任何需要主动消解文本歧义的跨模态检索/定位任务（如文本检索行人、指令式导航）。
跨模态恒等映射：通过强化学习最小化模态转换中的信息损失
Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning
提出用图文检索相似度作为强化学习奖励信号，无需人工标注即可优化LVLM的图像描述，减少模态转换中的信息损失；该奖励设计可迁移到其他需要细粒度视觉理解的生成任务。
跨模态模糊对齐网络用于文本-航拍行人检索及大规模基准
Cross-modal Fuzzy Alignment Network for Text-Aerial Person Retrieval and A Large-scale Benchmark
针对无人机视角下视觉信息退化导致的跨模态对齐难题，提出用模糊隶属度函数动态量化词元级可靠性，并引入地面视角图像作为桥接代理，为跨模态检索中的噪声抑制和模态鸿沟弥合提供了可复用的对齐思路。
思维链引导的多模态目标重识别
Chain-of-Thought Guided Multi-Modal Object Re-Identification
把 MLLM 的思维链文本推理作为锚框条件，在早期特征、跨模态一致性和决策三个层级约束视觉特征学习，为视觉-语言检索类任务提供了一种可复用的「文本逻辑引导视觉表征」范式。
CAST：面向交互式文本到图像检索的上下文感知动态潜空间变换
CAST: Context-Aware Dynamic Latent Space Transformation for Interactive Text-to-Image Retrieval
提出一种轻量级即插即用的上下文感知潜空间变换模块（CASR），通过低秩投影和强度调制动态调整多模态嵌入空间，可复用于其他需要细粒度语义对齐的跨模态检索或生成任务。
CARLoS：通过 LoRA 的简洁评估表示实现大规模检索
CARLoS: Retrieval via Concise Assessment Representation of LoRAs at Scale
用 CLIP 嵌入与基模型生成结果的差值构造 Direction/Strength/Consistency 三段式表示，为 LoRA 这类生成组件的无元数据刻画与检索提供了可复用范式，可直接迁移到视觉生成模型的适配器管理与组合检索。
BioVITA：面向视觉-文本-声学对齐的生物数据集、模型与基准
BioVITA: Biological Dataset, Model, and Benchmark for Visual-Textual-Acoustic Alignment
把音频作为第三模态接入 BioCLIP2 式的图文对比表征空间，并给出覆盖三模态全方向、三个分类层级的跨模态检索基准，为视觉研究者提供可复用的多模态对齐训练范式与评测协议。
超越全局相似度：面向细粒度跨模态理解的多条件检索
Beyond Global Similarity: Multi-Conditional Retrieval for Fine-Grained Cross-Modal Understanding
为视觉研究者提供了一个诊断性基准，用于检验多模态检索器与视觉语言重排序器在自然语言多约束查询下的细粒度组合匹配能力；其发现（视觉线索主导早期排序精度、文本元数据稳定长尾排序、pointwise 重排序器通过显式验证查询-候选一致性显著提升匹配）可直接指导检索系统的重排序模块设计与多模态特征融合策略。
BIT：面向可见光-红外行人重识别的基于匹配的双向交互变换网络
BIT: Matching-based Bi-directional Interaction Transformation Network for Visible-Infrared Person Re-Identification
把 VI-ReID 从「在共享嵌入空间里做刚性特征对齐」改成「对可见光-红外图像对做显式的双向匹配交互」，其中 query-aware scoring 与双向特征融合可作为跨模态检索/匹配任务的通用模块复用，尤其适用于红外样本远少于可见光样本的分布偏移场景。
AVION：从离线教师到提示微调网络的遥感视觉-语言指令
AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network
用大语言模型生成并经验证筛选的文本原型作为教师信号，蒸馏到视觉-语言双塔的轻量可学习 prompt 中，推理时学生独立运行；这套「离线教师+prompt 微调」范式可直接迁移到其他专业成像域（医学、遥感、工业）的 CLIP 类模型适配。