Tag · 92 篇
跨模态对齐
x^2-Fusion:事件边缘空间中的跨模态与跨维度流估计
x^2-Fusion: Cross-Modality and Cross-Dimension Flow Estimation in Event Edge Space
把事件相机输出的时空边缘当作统一的潜空间锚点,让图像与激光雷达特征显式对齐到同一表示,再做可靠性感知的自适应融合;这套「以事件边缘场为共享潜空间」的思路可直接迁移到其他多传感器融合任务(如深度补全、BEV 感知),跨维度对比学习也可用于耦合 2D 与 3D 运动估计。
mmWaveFlow:毫米波人体点云的统一增强与生成
mmWaveFlow: Unified Enhancement and Generation of mmWave Human Point Clouds
提出可逆的流匹配框架,在稠密与稀疏毫米波点云之间建立双向传输,并用跨模态潜变量对齐与原点感知流匹配缓解潜路径交叉,为稀疏点云增强与生成提供可复用范式。
面向终身行人重识别的视觉-语言属性解耦与强化
Vision-Language Attribute Disentanglement and Reinforcement for Lifelong Person Re-Identification
把 VLM 的文本属性作为跨域共享的细粒度监督信号,用文本属性解耦+跨模态属性对齐来指导视觉特征提取,这一思路可直接迁移到其他需要抗遗忘的跨域检索/分类任务(如跨域行人检索、细粒度识别)中。
VRCLIP:面向CLIP驱动的视觉-无线电行人重识别的多模态典型相关对齐
VRCLIP: Multimodal Canonical Correlation Alignment for CLIP-Driven Vision-Radio Person Re-Identification
把跨模态对齐从分布匹配改成典型相关分析(CCA)子空间上的相关性最大化,避免过度正则化削弱模态内判别性;这个思路可直接迁移到RGB-红外、RGB-深度、RGB-文本等任意异质模态ReID或检索任务的特征融合环节。
以2D语义知识解锁3D功能可供性分割
Unlocking 3D Affordance Segmentation with 2D Semantic Knowledge
利用2D视觉基础模型的语义知识,通过跨模态亲和力迁移预训练3D编码器,为点云功能可供性分割提供结构化特征学习方案。
统一多模态模型作为自编码器
Unified Multimodal Models as Auto-Encoders
将图像到文本理解与文本到图像生成统一为自编码器框架,并用重建奖励的强化学习联合优化编码器与解码器,为视觉语言模型提供了一种通过重建目标提升细粒度感知与生成保真度的后训练思路。
UniLight:一种统一的光照表示
UniLight: A Unified Representation for Lighting
把光照(环境图、辐照度、文本、图像)统一到一个共享潜空间,可直接作为扩散图像合成的条件信号,实现跨模态光照检索与可控重打光;其对比对齐加球谐预测的辅助任务思路也可迁移到其他物理属性(材质、相机参数)的跨模态表示学习。
U-Mind:面向实时多模态交互与视听生成的统一框架
U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation
论文提出以文本优先的思维链规划驱动语音、动作和视频的同步生成,并实现基于姿态与语音条件的实时视频渲染,为视觉研究者提供了将语言推理与视频生成闭环结合的可复用框架。
将信号翻译为语言以用于基于表面肌电信号的活动识别
Translating Signals to Languages for sEMG-Based Activity Recognition
把连续时序信号(sEMG)通过语言导向映射转成离散 token 序列,再交给冻结/微调的 LLM 做识别,这套「信号→语言 token→LLM 推理」的范式可直接迁移到视觉时序信号(骨架动作、眼动、IMU、事件相机流)的动作识别上。
仅训练期异构图像块-文本图监督用于提升少样本学习适配器
Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters
把训练期的异构图教师(多尺度图像块+文本提示的图 Transformer)蒸馏进 Tip-Adapter 的键值缓存,测试时零额外延迟,为视觉研究者提供了一种「训练加料、推理不变」的少样本 CLIP 适配增强范式。
面向少标签的多模态域泛化
Towards Multimodal Domain Generalization with Few Labels
把半监督伪标签与域泛化结合到多模态设定:用融合后各单模态一致的高置信预测生成伪标签,并对不一致样本单独建模,再用跨模态原型对齐约束域不变与模态不变表征——这套「一致性伪标签 + 分歧感知 + 原型对齐」可直接迁移到多模态分类或检索在少标注、跨域、模态缺失时的训练流程。
面向高迁移性视觉语言攻击的语义增强动态对比交互方法
Towards Highly Transferable Vision-Language Attack via Semantic-Augmented Dynamic Contrastive Interaction
对做视觉语言模型鲁棒性评测的人,这篇给出了一个可复用的攻击侧思路:用对抗/正/负样本三元组的动态对比机制持续破坏跨模态对齐,并把传统迁移攻击里的输入变换增强搬到 VLP 上做语义增广,可直接用于检验自家 VLM 的迁移攻击抵抗力。
面向隐私保护可见光-红外行人重识别的跨模态保持、一致性与对齐
Towards Cross-Modal Preservation, Consistency and Alignment for Privacy-Preserving Visible-Infrared Person Re-Identification
针对可见光-红外行人重识别中的隐私保护问题,提出关键点保持正则化与差分一致性引导的模态对齐,可复用于跨模态检索中的匿名化特征对齐。
通过对话式属性挖掘解决行人检索中的对齐歧义
Tackling Alignment Ambiguity in Person Retrieval through Conversational Attribute Mining
用 MLLM 生成对话式属性描述来补充文本侧细粒度线索,并用双向交叉注意力混合器做 token 级对齐,这一「对话属性挖掘 + token 对齐」思路可迁移到任何细粒度图文检索或跨模态 grounding 任务。
TANGO:面向标签噪声下视觉语言模型鲁棒微调的文本锚定引导优化
TANGO: Text-Anchored Guided Optimization for Robust Fine-tuning Vision-Language Models under Label Noise
用文本模态构造与训练标签无关的语义锚点,替代线性分类器并指导样本筛选与标签纠错,为视觉研究者提供一种在脏标注数据上微调 VLM 的即插即用范式。
Superman:统一骨架与视觉的人体运动感知与生成
Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation
提出视觉引导的运动分词器,利用3D骨架与视觉数据的几何对齐构建跨模态运动词汇表,使单一MLLM统一处理时序3D姿态估计与运动生成任务,为人体运动分析提供可复用的统一建模范式。
面向卫星影像的光谱蒸馏表征与指令增强 LLM 对齐
Spectrally Distilled Representations Aligned with Instruction-Augmented LLMs for Satellite Imagery
用冻结的多光谱教师模型向 RGB 学生模型蒸馏光谱先验,再把视觉空间对齐到指令增强 LLM 的嵌入空间,使推理阶段只需 RGB 输入即可获得光谱感知的跨模态表征;这套「教师蒸馏 + LLM 对齐」的两阶段范式可直接迁移到遥感或其他多模态缺失场景的视觉语言预训练。
面向遮挡可见光-红外行人重识别的空间-频率协同学习
Spatial-Frequency Collaborative Learning for Occluded Visible-Infrared Person Re-Identification
将频域特征作为空间特征的补充,通过跨模态频率对齐模块和空间-频率交互模块提升遮挡下的跨模态特征对齐能力,为可见光-红外行人重识别提供了一种可复用的双域协同学习思路。
SkeletonContext:面向零样本骨架动作识别的骨架侧上下文提示词学习
SkeletonContext: Skeleton-side Context Prompt Learning for Zero-Shot Skeleton-based Action Recognition
将大语言模型生成的上下文语义通过提示词学习注入骨架编码器,为骨骼动作识别提供实例级语义定位,可迁移到其他需要跨模态对齐的时序动作理解任务。
面向零样本组合图像检索的自引导语义检查
Self-guided Semantic Inspection for Zero-Shot Composed Image Retrieval
DiffComp 用「短语引导掩码」主动制造图文语义差异,再以差异感知组合模块按差异程度自适应融合特征,这套「先制造差异再组合」的自监督训练范式可直接迁移到任何需要图文联合推理的检索或组合式生成任务中。
无像素感知:从相机轨迹中获取感知
Seeing without Pixels: Perception from Camera Trajectories
把相机位姿轨迹当作一种轻量模态,用对比学习对齐到语言嵌入空间,为视频理解提供了一条不依赖像素的表征路径;做视频-文本检索或第一人称动作理解时,可考虑把轨迹编码器作为额外或替代的视觉分支。
从极性看运动:面向事件相机动作识别的极性知识增强框架
Seeing Motion Through Polarity for Event-based Action Recognition
把事件相机的正负极性显式解耦为运动线索,并用大语言模型对极性诱导的运动动态做语义推理,再与视觉特征对齐;这套『极性分支+语言推理+跨模态对齐』的做法可迁移到任何事件流或高动态场景的时序理解任务。
兼顾双向:面向开放词表伪装目标分割的双向语义对齐
Seeing Both Sides: Towards Bidirectional Semantic Alignment for Open-Vocabulary Camouflaged Object Segmentation
提出双向跨注意力实现视觉-文本特征互校准,并将精炼后的文本嵌入转为自适应提示词驱动 SAM 生成掩码,可直接用于开放词表分割与跨模态提示学习。
See What I Mean:对齐视觉与语言表示用于视频细粒度物体理解
See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding
通过训练时使用掩码监督来对齐视觉与语言表示,使多模态大语言模型在推理时仅凭文本提示即可自动关注用户指定的物体,为细粒度物体理解提供了一种无需视觉提示的跨模态注意力对齐方法。
从视觉基础模型扩展密集事件流预训练
Scaling Dense Event-Stream Pretraining from Visual Foundation Models
提出结构感知蒸馏损失,利用视觉基础模型(VFM)的语义结构作为监督信号,解决事件流与图像跨模态对齐中的语义坍缩问题,可复用于其他模态(如事件、深度、热成像)与VFM的对齐预训练。
SVHalluc:面向音视频大语言模型的语音-视觉幻觉基准
SVHalluc: Benchmarking Speech-Vision Hallucination in Audio-Visual Large Language Models
为视觉研究者提供了一个诊断音视频大模型「语音-视觉」跨模态对齐能力的评测框架,其语义与时序双维度探针可直接用于检验视频理解模型是否真正将语音内容落地到对应画面,而非仅靠单模态先验作答。
SEATrack:简单、高效且自适应的多模态跟踪器
SEATrack: Simple, Efficient, and Adaptive Multimodal Tracker
AMG-LoRA 将 LoRA 与自适应互引导结合,用于对齐双流跟踪器中的跨模态注意力图;HMoE 用分层混合专家实现高效的全局关系建模,这两者都是可复用的 PEFT 与融合设计,可直接迁移到其他多模态视觉任务。
SARMAE:面向 SAR 表征学习的掩码自编码器
SARMAE: Masked Autoencoder for SAR Representation Learning
把 SAR 特有的相干斑噪声显式注入 MAE 的掩码重建流程,并用配对光学图像作为语义锚框约束特征对齐,这套「噪声感知预训练 + 跨模态语义约束」思路可迁移到其他低质量或强噪声成像域(如超声、低光照、去噪前表征)的自监督预训练。
SAIL:面向弱监督稠密视频描述学习的相似度感知引导与描述间增强
SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning
用跨模态相似度作为弱监督信号来引导高斯掩码聚焦语义相关区域,并用 LLM 合成描述通过掩码间机制提供辅助对齐信号,这套思路可直接迁移到其他只有粗粒度标注的视频时序定位任务(如弱监督动作定位、视频片段检索)。
从Gromov-Wasserstein距离视角重新思考VLM中的模型选择
Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance
提出一种仅需推理的指标(Gromov-Wasserstein距离)来预测视觉编码器与LLM对齐后的VLM性能,可用于在完整训练前高效筛选视觉编码器,避免盲目选择大模型或高零样本精度的编码器。
配额校准的细粒度对齐与上下文感知边缘分布用于文本行人检索
Quota-Calibrated Fine-Grained Alignment with Context-Aware Marginals for Text-based Person Retrieval
QC-Align 提出一种无需参数、即插即用的训练正则化器,通过上下文感知的边缘分布估计和配额校准的最优传输目标,显式约束文本词与视觉区域之间的多对多匹配质量,可被复用于任何需要细粒度跨模态对齐的视觉-语言任务(如跨模态检索、图文匹配),尤其在少样本和跨域场景下提升基线性能与可解释性。
以大规模多模态对应学习推进音视频感知前沿
Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning
把视频-文本对比学习扩展到音视频-文本三模态联合嵌入,并提供用大模型为亿级音视频对合成高质量描述的数据引擎;做视频理解或多模态检索时,可直接复用其十组成对对比目标与跨模态/描述类型配对的扩展策略来提升零样本迁移。
原型即提示:多模态情感原型赋予大语言模型执行多模态情感分析的能力
Prototype-as-Prompt: Multimodal Sentiment Prototypes Endowing Large Language Models the Capability to Perform Multimodal Sentiment Analysis
将视觉-音频特征压缩为可解释的多模态情感原型,并作为软提示注入LLM,为视觉-语言模型提供了一种参数高效且语义明确的条件控制方式,可复用于其他多模态理解任务。
自我提示:唤醒一维视觉分词器中的文本语义
Prompt Yourself: Awakening Textual Semantics in 1D Visual Tokenizers
提出一种自提示训练范式,在训练时同时生成视觉与文本词元并对齐到预训练语言模型,从而将语言语义注入1D视觉分词器,提升细粒度图像编码能力;该思路可复用于改进其他视觉分词器或生成模型的表征质量。
面向未对齐 RGBT 跟踪的渐进式多线索对齐
Progressive Multi-cue Alignment for Unaligned RGBT Tracking
把跨模态对齐参数(中心偏移、尺度变换、全局精修)拆成渐进三阶段,并用难度感知路由器按对齐复杂度选择专家,这套「渐进解耦 + 动态选专家」的思路可直接迁移到其他存在空间错位的多模态/多传感器融合任务(如可见光-深度、可见光-事件相机跟踪)。
PhaSR:物理对齐先验的泛化图像阴影去除
PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors
把 Gray-world 归一化、对数域 Retinex 分解与动态范围重组整合成闭式光照校正模块,并用扩展的差分注意力对齐深度几何与 DINO-v2 语义特征,可为其他光照解耦类复原任务(低光照增强、去雾)提供可复用的先验对齐范式。
OpenMarcie:工业环境下多模态动作识别数据集
OpenMarcie: Dataset for Multimodal Action Recognition in Industrial Environments
提供了大规模多模态工业动作识别基准,可用于评测第一人称/第三人称视频中的动作分类、开放词表描述和跨模态对齐方法,推动真实制造场景下的视觉-可穿戴信号融合研究。
ORD:面向泛化 3D 视觉定位的对象-关系解耦
ORD: Object-Relation Decoupling for Generalized 3D Visual Grounding
将目标-锚框关系显式解耦为几何与语义原语,并设计谓词解耦的跨模态对齐策略,可迁移到其他需要抑制实体名称语义捷径的视觉-语言任务(如指代分割、视觉定位)。
NeuroFlow:迈向神经活动驱动的统一视觉编码与解码
NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity
将视觉编码与解码统一为共享潜空间中的可逆流匹配过程,为视觉-神经跨模态生成提供新范式;其跨模态流匹配(XFM)可复用于图像与脑信号间的双向转换,NeuroVAE 的结构化潜空间设计对视觉表征学习有借鉴意义。
MusicInfuser:让视频扩散模型听懂音乐并起舞
MusicInfuser: Making Video Diffusion Listen and Dance
提出基于引导式构造影响函数的逐层可适配性准则,可在单卡一天内把预训练文生视频扩散模型对齐到音乐条件,为视觉研究者提供一种低成本、保留先验的扩散模型新条件模态适配范式。
面向多样化文本到3D生成的多模态语义偏差缓解
Multimodal Semantic Bias Mitigation for Diverse Text-To-3D Generation
针对文本到3D大模型对提示词格式敏感、难以理解复杂提示词的问题,提出用质量评价模型定位跨模态偏差、以质量分数量化提示词文本对偏差的贡献,并构造成对样本重建无偏的视觉-文本连接;做文本到3D或扩散先验的人可借鉴这套偏差定位与成对偏好式微调流程。
面向视觉语言数据集蒸馏的多模态分布匹配
Multimodal Distribution Matching for Vision-Language Dataset Distillation
把数据集蒸馏从单模态扩展到图文对,用联合嵌入空间聚类初始化合成样本、在权重空间插值出混合教师、并在单位超球面上做几何感知的联合分布匹配,这套流程可直接迁移到视觉侧的数据压缩与跨模态预训练数据筛选。
MoD-DPO:利用模态解耦偏好优化缓解全模态大模型中的跨模态幻觉
MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization
给做多模态大模型(尤其是视听/视觉-语言模型)的研究者提供了一种可复用的偏好优化正则化思路:通过对无关模态加扰动、对相关模态加敏感度约束,显式解耦模态间虚假关联,可直接迁移到视觉-语言模型的视觉定位与幻觉抑制训练中。
MoBind:面向细粒度 IMU-视频姿态对齐的运动绑定
MoBind: Motion Binding for Fine-Grained IMU-Video Pose Alignment
把视频中提取的2D骨骼序列当作视觉侧表征,与IMU信号做分层对比对齐,为视觉研究者提供了一个绕开像素、用姿态序列做跨模态时序对齐与检索的可复用范式,尤其适合第一人称/可穿戴场景下的细粒度时序同步。
注意你选择负文本的方式:在视觉语言模型的 OOD 检测中追求距离一致性
Mind the Way You Select Negative Texts: Pursuing the Distance Consistency in OOD Detection with VLMs
对做开放世界视觉识别的人,这篇给出了一个可直接复用的思路:用 CLIP 原生优化的跨模态距离(而非模态内距离)来挑选负文本并反演高置信 OOD 图像生成额外负文本嵌入,可作为即插即用的 OOD 打分与负样本构造模块。
MM-OVSeg:面向遥感开放词表分割的多模态光学-SAR 融合
MM-OVSeg: Multimodal Optical-SAR Fusion for Open-Vocabulary Segmentation in Remote Sensing
对做开放词表分割的人,这篇给出了把 SAR 结构先验注入 VLM 文本对齐分割头的双编码器融合方案,可作为恶劣天气/光学缺失场景下扩展 OV 分割输入模态的参考;其跨模态表征统一流程也可迁移到其他传感器组合。
MFEN:面向可见光-红外行人重识别的多频专家网络
MFEN: Multi-Frequency Expert Network for Visible-Infrared Person Re-ID
把频域分带调制与混合专家结合,用于抑制光照/波长差异带来的模态鸿沟;做跨模态检索或可见光-红外对齐时,可复用其多频带专家路由与随机频率增强策略。
先对齐再融合:面向鲁棒3D检测的2D引导跨模态对齐
Look Before You Fuse: 2D-Guided Cross-Modal Alignment for Robust 3D Detection
用2D检测器可靠定位的物体-背景边界作为先验,在融合前预对齐激光雷达与相机特征,并显式增强边界处的深度突变;这套「先对齐再融合」的思路可直接迁移到任何存在投影误差的多传感器BEV融合流程中。
连接异构协同感知中的模态隔离
Linking Modality Isolation in Heterogeneous Collaborative Perception
针对多智能体协同感知中「模态隔离」(不同模态智能体从未在同一帧共现)这一设定,用码本把各模态特征空间正则化为离散码空间,再学习跨模态 feature-code-feature 翻译实现无需空间重叠监督的对齐;做 V2X/多车协同感知、跨模态特征对齐或模态缺失鲁棒性的人可直接复用该「无共现对齐」思路与极低通信量的码传输方案。
面向视觉解耦的语言先验:迈向对称的视觉-大脑对齐
Linguistic Priors for Visual Decoupling: Towards Symmetric Vision-Brain Alignment
用面向物体的文本描述作为语义先验,把自然图像中的前景物体与背景显式解耦,再与含噪脑信号做语义对称对齐;这套「语言先验引导的视觉解耦」思路可迁移到图像-文本-神经信号三模态对齐、以及需要抑制背景干扰的跨模态检索任务。
通过潜空间跨模态对齐与翻译的 LiDAR 到 4D 雷达扩散桥
LiDAR-to-4DRadar Diffusion Bridge via Cross-Modal Alignment and Translation in Latent Space
把扩散桥(diffusion bridge)用在两个已对齐的潜空间之间做跨模态翻译,可迁移到 LiDAR→相机、深度→RGB 等「缺失模态补全」任务;其 patch-wise 对比对齐 + key-voxel-aware VAE 的组合,为高维稠密张量(雷达/体素)的生成式数据增强提供了可复用范式。
KAMP:面向医学图像表征的知识锚定多模态预训练框架
KAMP: Knowledge-Anchored Multimodal Pretraining Framework for Medical Image Representation
用大语言模型从临床文本与影像元数据生成个性化诊断知识,作为语义锚点注入图像表征,并用跨模态对齐器作奖励模型做 GRPO 优化——这套「文本先验锚定 + 对齐器即奖励」的流程可迁移到任何配对数据稀缺的视觉-语言预训练场景。
IsoCLIP:分解 CLIP 投影器以实现高效的模态内对齐
IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment
对做视觉检索或复用 CLIP 图像编码器的人,这篇给出了一个免训练的后处理:从 projector 权重里用谱分析取出跨模态对齐的各向同性子空间,丢掉模态特有的各向异性方向,就能直接提升 image-to-image 检索并降低延迟,可作为一个即插即用的特征变换。
HyperST:用于空间转录组学预测的层次化双曲学习
HyperST: Hierarchical Hyperbolic Learning for Spatial Transcriptomics Prediction
将双曲几何引入跨模态对齐,利用层次结构建模图像与基因表达的多层级关系,为视觉-组学跨模态预测提供可复用的表征学习框架。
HumanVBench:以自动合成基准探测多模态大模型中以人为中心的视频理解能力
HumanVBench: Probing Human-Centric Video Understanding in MLLMs with Automatically Synthesized Benchmarks
提供了一套可复用的自动化基准构建流水线:用强模型生成高质量视频标注,并把模型自身的错误系统性地转化为干扰项,从而以极低人工成本构造细粒度多选题评测集;做视频 MLLM 评测或需要构造难负样本的视觉研究者可直接借鉴这一「错误即干扰项」的合成思路。
HERO:面向开放词表视频时序句子定位的分层嵌入精炼
HERO: Hierarchical Embedding-Refinement for Open-Vocabulary Temporal Sentence Grounding in Videos
论文提出的开放词表时序句子定位任务和分层嵌入精炼框架,为视觉语言模型在词汇偏移下的泛化提供了可复用的评测基准和跨模态对齐方法,特别是语义引导的视觉过滤和对比掩码文本精炼技术,可直接用于视频-语言对齐任务。
引力驱动的语义对齐用于文本视频检索
Gravitation-Driven Semantic Alignment for Text Video Retrieval
把跨模态语义分布的对齐拆成「语义引力」(由不确定性导出的语义质量与语义距离)和「几何重叠」两个正交因子,并给出 O(D) 的闭式替代来避免难解的联合积分——做视频-文本检索或任何需要处理多对多语义歧义、区分难负样本的跨模态对齐任务时,这套概率分布匹配打分可以直接替换确定性嵌入的余弦相似度。
面向 3D 高斯泼溅中指代分割的几何感知跨模态图对齐
Geometry-Aware Cross-Modal Graph Alignment for Referring Segmentation in 3D Gaussian Splatting
针对 3DGS 场景中的语言指代分割,用位置感知提示词扩展与几何图-语义图跨模态对齐来抑制跨模态注意力的误差自增强,可直接迁移到任何需要文本-3D 空间定位的 3DGS/NeRF 管线。
GeoSURGE:基于分层地理嵌入语义融合的地理定位
GeoSURGE: Geo-localization using Semantic Fusion with Hierarchy of Geographic Embeddings
把地理坐标建模为分层可学习嵌入、并用潜变量交叉注意力把语义分割特征融进外观特征,这套「低维坐标→分布式多尺度嵌入」的对齐思路可迁移到其他需要回归连续空间量(如相机位姿、深度、BEV 位置)的视觉任务。
GeoGuide:面向开放词表 3D 语义分割的分层几何引导
GeoGuide: Hierarchical Geometric Guidance for Open-Vocabulary 3D Semantic Segmentation
用预训练 3D 模型自身的几何先验替代对 2D 开放词表模型的单向蒸馏,通过超点级不确定性加权和实例级掩码重建抑制 2D 噪声,为 3D 开放词表分割提供了一条不牺牲几何表征的路线。
FusionRegister:每一对红外与可见光图像融合都值得配准
FusionRegister: Every Infrared and Visible Image Fusion Deserves Registration
提出一种由视觉先验引导的跨模态配准方法,可直接作用于融合结果,避免预配准步骤,为红外与可见光图像融合提供高效鲁棒的配准方案。
FALCON:视觉语言对齐中假负样本感知的对比负样本学习
FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment
针对视觉语言预训练中图文多对多对应导致的假负样本问题,提出用可学习的负样本挖掘调度器在 mini-batch 构建阶段为每个锚框实例动态选择合适难度的负样本;做图文检索、CLIP 类对齐训练的工作可以直接把这一负样本调度策略插到自己的对比损失里,替代固定的难负样本启发式。
F$^2$-Assist:基于超声检查的多阶段胎儿生长预测与报告生成
F$^2$-Assist: Multi-Phase Fetal Growth Forecast and Report Generation from Ultrasound Examination
把连续生物测量值编码为可微 token 的 Growth Parameter Adapter,以及处理不规则采样间隔的 History-Aware Temporal Encoding,可迁移到任何需要数值精确推理的医学视觉语言模型与纵向影像随访任务。
EventGait:面向事件流的鲁棒步态识别
EventGait: Towards Robust Gait Recognition with Event Streams
把事件相机引入步态识别,用脉冲专家混合(MoSE)建模微秒级动态、用跨模态结构对齐(CroSA)借助大视觉基础模型蒸馏稠密形状表征,为低光照/高动态场景下的人体运动识别提供了可复用的双流事件表征方案。
EagleNet:面向文本-视频检索的能量感知细粒度关系学习网络
EagleNet: Energy-Aware Fine-Grained Relationship Learning Network for Text-Video Retrieval
用文本候选与帧构建文本-帧图来聚合出带帧上下文信息的增强文本嵌入,并用能量匹配建模真实文本-视频对分布,这一「图聚合+能量打分」思路可迁移到其他跨模态检索与图文对齐任务中。
通过 BrainSSD 解码三维感知:静态与动态视觉流脑电表征的协同融合
Decoding 3D Perception via BrainSSD: Synergistic Fusion of EEG Representations from Static and Dynamic Visual Streams
对做视觉表征学习的人,这篇提供了用 EEG 信号作为监督/对齐目标来反推 3D 物体表征的思路:静态视图与旋转序列两路信号经 PAC 引导融合后,再用多级对齐损失映射回视觉域,可作为研究「视觉模型表征是否与大脑 3D 感知一致」的探针与对齐范式。
DLVP-CLIP:通过动态局部视觉提示增强细粒度零样本异常检测
DLVP-CLIP: Enhancing Fine-Grained Zero-Shot Anomaly Detection via Dynamic Local Visual Prompting
用语义感知的局部特征选择器从图像关键区域动态抽取视觉提示词 token,替代预定义文本提示词模板来补足 CLIP 的局部细节感知,这一动态视觉提示思路可直接迁移到其他需要细粒度局部判别的 CLIP 下游任务(如缺陷检测、病灶定位)。
DIMOS:解耦实例级运动目标分割
DIMOS: Disentangling Instance-level Moving Object Segmentation
双解耦特征提取把图像与事件模态各自拆成外观流和运动流,再配合多粒度跨模态对齐做融合;这套「先解耦再对齐」的流程可直接迁移到其他事件-图像融合任务(如事件辅助的检测、深度估计),也为小目标运动分割提供了可复用的特征增密思路。
DETACH:面向外视角视频与环境传感器的分解式时空对齐与分阶段学习
DETACH : Decomposed Spatio-Temporal Alignment for Exocentric Video and Ambient Sensors with Staged Learning
论文把外视角视频分解为空间与时序分量,并用在线聚类把环境传感器的隐式通道激活转成显式空间原型,从而建立跨模态空间视觉定位;这套「分解+原型视觉定位+加权对比」的流程可直接迁移到视频-音频、视频-IMU 等跨模态时序对齐任务,尤其是需要抑制假负样本的细粒度时序对齐场景。
D$^2$-FOSA:双扩散引导的频域语义对齐脑电到图像重建
D$^2$-FOSA: Dual-Diffusion Guided EEG-to-Image Reconstruction with Frequency-Oriented Semantic Alignment
论文提出的双扩散潜变量生成器(DDLG)与频域导向的Mamba编码器,为跨模态生成(如EEG到图像)提供了可复用的双向条件扩散框架和频域特征建模思路,可启发视觉-脑信号对齐及基于扩散的语义重建研究。
曲率感知描述:利用测地注意力进行3D场景理解
Curvature-Aware Captioning: Leveraging Geodesic Attention for 3D Scene Understanding
将双曲几何中的洛伦兹空间与斜空间注意力引入3D稠密描述任务,为点云-语言跨模态对齐提供了一种保持层次语义的几何先验,可复用于其他需要建模场景实例间层级关系的视觉-语言任务。
从左脑到右脑:面向视觉语言导航的自适应文本想象器
Cross from Left to Right Brain: Adaptive Text Dreamer for Vision-and-Language Navigation
用 LLM 以语言形式想象未来场景语义、替代视觉合成来缓解 VLN 的部分可观测性,并给出 decoder-free 潜空间接口把想象结果注入导航专家模块,这套「文本想象 + 潜空间对齐」思路可迁移到其他需要预测未来观测的具身导航与探索任务。
CodeMMR:统一自然语言、代码与图像的统一检索
CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval
把图像(网页界面、数据可视化、SVG、示意图、UML)与自然语言、代码嵌入同一语义空间做跨模态检索,其指令驱动的多模态对齐与统一嵌入思路可直接迁移到视觉侧的图文检索、视觉定位与多模态 RAG 场景。
CoV-Align:以连贯视觉语义优先的高效细粒度跨模态对齐
CoV-Align: Efficient Fine-grained Cross-Modal Alignment with Cohesive Visual Semantics Priority
用无文本引导的语义收敛注意力先聚合视觉 patch,再与文本对齐,可把图文检索/跨模态检索中的 patch-word 冗余相关性计算量降下来,3-5x 加速对大规模多模态训练与推理有直接复用价值。
CoIn:面向高效大型多模态模型的覆盖度与信息量引导词元削减
CoIn: Coverage and Informativeness-Guided Token Reduction for Efficient Large Multimodal Models
把视觉词元裁剪建模为「信息量 + 覆盖度」的联合最优子集选择,用基于体积的覆盖度准则保证特征空间全局代表性,且与 kernel 级推理加速器兼容——做 LMM 推理加速或多模态 token 压缩时可直接替换 importance-only 或 pairwise 去冗余的选 token 策略。
面向高效视频-语言预训练的簇级时空掩码
Cluster-Wise Spatio-Temporal Masking for Efficient Video-Language Pretraining
提出按帧内语义聚类、每簇保留时序密度最高词元的掩码策略,可直接迁移到任何视频-语言或视频自监督预训练流程中,在极高掩码率下同时缓解视觉信息丢失与帧间信息泄漏,并配合视频-文本相关性重建目标提升跨模态语义对齐。
第二视角图像能否充当一种语言?面向 X 射线违禁品检测的几何与语义跨模态推理
Can a Second-View Image Be a Language? Geometric and Semantic Cross-Modal Reasoning for X-ray Prohibited Item Detection
把第二视角图像当作「类语言模态」与文本语义联合对齐,并用结构化思维链(top→side→conclusion)组织跨视角几何与跨模态语义的推理,这一设定可迁移到任何多视角+文本的检测或问答任务中。
基于专家协作的伪装感知图像-文本检索
Camouflage-aware Image-Text Retrieval via Expert Collaboration
针对伪装场景中目标与背景高度相似导致跨模态对齐困难的问题,提出双分支视觉编码器与置信度条件图注意力机制,可复用于其他低对比度或复杂背景下的视觉-语言检索任务。
CLaD:通过跨模态潜变量动力学进行有据前瞻的规划
CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics
把本体感知与语义状态用非对称交叉注意力对齐成统一的潜空间动力学,并用自监督预测未来潜变量来条件化扩散策略;做视觉-动作联合建模或机器人操作策略学习时,这套『预测有据的潜变量前瞻 + 扩散动作生成』结构可直接复用。
CG-Reasoner:质心引导的位置推理分割用于医学影像及一个鲁棒的视觉-文本一致性指标
CG-Reasoner: Centroid-Guided Positional Reasoning Segmentation for Medical Imaging with a Robust Visual-Text Consistency Metric
将多模态大语言模型的推理能力与轻量级分割网络结合,通过Text2Centroid模块从推理嵌入预测病灶质心,为医学图像分割提供可解释的位置推理;提出的PRScore指标可评估生成文本与分割掩码的空间语义对齐,可复用于其他视觉-语言分割任务。
CF-IPT:面向多源遥感数据分类的视觉语言预训练模型跨模态融合交互提示微调
CF-IPT: Cross-Modal Fusion Interactive Prompt Tuning of Vision-Language Pre-Trained Model for Multisource Remote Sensing Data Classification
把 CLIP 的提示学习从自然图像迁移到多源遥感:用光谱-空间提示矩阵引导视觉与文本分支的交互,仅训练 0.76% 参数即可完成多源图像分类,可作为跨模态提示微调在非自然图像域的可复用范式。
CASPA:面向视觉语言模型模态无关适配的图结构概念锚点
CASPA: Graph-Structured Concept Anchors for Modality-Agnostic Adaptation in Vision-Language Models
把适配从「每类一组提示词参数」改为「共享文本/图像锚点上的软关联分布」,在冻结 CLIP 骨干的前提下实现参数共享与跨类语义复用;做 VLM 下游适配(少样本、跨数据迁移)时可直接替换 class-specific prompt 的参数化方式,并用 S-XCR 约束图文推理空间一致。
CARE:面向全切片图像分析的分子引导自适应区域建模基础模型
CARE: A Molecular-Guided Foundation Model with Adaptive Region Modeling for Whole Slide Image Analysis
把 WSI 从固定 patch 网格改为由分子信号引导的自适应不规则区域建模,并用区域级特征聚合出切片级表示;做病理或大尺寸图像分析时,这种「自适应区域 + 跨模态对齐」的预训练范式可直接迁移到其他超高分辨率图像任务。
通过稀疏对齐与单模态记忆库弥合组合零样本学习中的模态间隙
Bridging the Modality Gap in Compositional Zero-Shot Learning via Sparse Alignment and Unimodal Memory Bank
针对 CLIP 图文模态间隙,用稀疏对齐把文本表征直接绑定到语义相关的视觉 patch,并用纯视觉记忆库做分类,这套思路可迁移到任何依赖 CLIP 对齐的零样本/开放词表视觉任务。
自举你的音视频代理:面向音视频分割的自适应对比与原型学习
Bootstrap Your Own AV-Proxies: Adaptive Contrastive and Prototype Learning for Audio-Visual Segmentation
论文提出的自监督音频增强模块通过对比学习对齐音频与梯度阻断的视觉嵌入,以及动态原型约束模块利用动量更新原型增强像素级类别感知,这两者均可作为跨模态对齐与分割的通用技术手段,尤其适用于需要抑制融合噪声的多模态分割任务。
超越严格配对:面向高性能红外与可见光图像融合的任意配对训练
Beyond Strict Pairing: Arbitrarily Paired Training for High-Performance Infrared and Visible Image Fusion
把红外与可见光图像融合的训练从严格配对中解放出来,用非配对/任意配对数据即可训练,并给出 CNN/Transformer/GAN 三个轻量基线;做多模态融合或跨模态配准数据稀缺时,可直接复用其任意配对训练目标与配套损失函数。
超越显式语言:面向通用目标跟踪的即插即用视觉到语言建模
Beyond Explicit Language: Plug-and-Play Visual-to-Linguistic Modeling Toward General Object Tracking
提出一个即插即用的文本反转模块,将模板和搜索区域的视觉特征映射到CLIP文本嵌入空间,无需显式语言输入即可为跟踪器注入语言引导,可复用于其他视觉任务以隐式利用语言先验。
Alert-CLIP:面向视频异常检测的异常感知潜在增强 CLIP 表征微调
Alert-CLIP: Abnormality-aware Latent-Enhanced Representation Tuning of CLIP for Video Anomaly Detection
针对 CLIP 文本嵌入空间中正常/异常描述纠缠的问题,提出视频-标签、区域-文本、区域-语义三级对齐微调策略,可直接迁移到任何需要细粒度异常感知的 CLIP 下游任务(如工业缺陷、医学异常筛查)。
Air-Know:仲裁器校准的知识内化鲁棒网络用于组合图像检索
Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval
用 MLLM 作为离线专家构造高精度锚框数据集,再把判别逻辑内化到轻量代理仲裁器中,为视觉-语言检索中处理噪声对应关系提供了可复用的「专家-代理-分流」解耦范式。
AGFT:面向视觉语言模型零样本对抗鲁棒性的对齐引导微调
AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models
提出用原始模型软预测做文本引导的对抗微调,并用温度缩放分布一致性校准保持跨模态对齐,可直接迁移到CLIP类模型的对抗鲁棒性提升。
AG-VAS:基于大语言多模态模型的锚点引导零样本视觉异常分割
AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models
通过可学习的语义锚点token([SEG]、[NOR]、[ANO])将抽象异常概念转化为空间定位实体,并设计语义-像素对齐模块(SPAM)与锚点引导掩码解码器(AGMD),为LMM-based零样本分割提供可复用的锚点引导范式。
混合食谱让 DINO 成为杂食性视觉编码器
A Mixed Diet Makes DINO An Omnivorous Vision Encoder
把 DINOv2 这类单模态基础模型通过「跨模态对齐 + 冻结教师蒸馏」扩展成模态无关编码器,可直接复用于 RGB-D、分割图、深度图等多模态输入的统一特征提取与跨模态检索。