Tag · 107 篇
对比学习
b-CLIP:面向多粒度视觉-语言对齐的文本条件对比学习
b-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment
用交叉注意力把图像 patch 按不同文本粒度(整句、句子、短语)动态池化成上下文视觉嵌入,并给出可调的多粒度对比损失,可直接用于需要密集图文对应的检索、grounding 与区域-短语匹配任务。
你的差异性定义了你:利用类别多样性进行互补学习
Your Dissimilarities Define You: Complementary Learning Exploiting Class Diversities
把「非目标类」整体建模为一个 opposite-class 并对其激活分布做显式约束,可作为分类头/损失层的即插即用正则项,配合神经坍缩分析改善特征几何,适用于开放集、少样本与域泛化的视觉分类骨干训练。
X-WIN:通过预测性感知构建胸部X射线世界模型
X-WIN: Building Chest Radiograph World Model via Predictive Sensing
X-WIN 通过从 CT 体数据蒸馏三维解剖知识来构建 CXR 世界模型,其潜空间投影预测与亲和力引导对比对齐损失可迁移到其他需要从 2D 投影恢复 3D 结构的视觉任务,如 X 光片的三维重建与跨模态表征学习。
WikiCLIP:面向开放域视觉实体识别的高效对比基线
WikiCLIP: An Efficient Contrastive Baseline for Open-domain Visual Entity Recognition
提出用大语言模型嵌入作为实体表示,并通过视觉引导的知识适配器在图像块级别对齐文本语义与视觉线索,为视觉-语言检索提供了一种高效且可复用的对齐范式。
VEMamba:基于轴向-横向一致 Mamba 的体电子显微镜高效各向同性重建
VEMamba: Efficient Isotropic Reconstruction of Volume Electron Microscopy with Axial-Lateral Consistent Mamba
将 Mamba 的选择性扫描按轴向-横向分块重排,把各向异性体电镜数据的 3D 依赖压成 1D 序列建模,这套 ALCSSM+DWAM 的重排聚合思路可直接迁移到其他轴向分辨率不足的 3D 医学/生物成像超分与去噪任务。
解锁强监督:通用音频预训练方法的数据中心研究
Unlocking Strong Supervision: A Data-Centric Study of General-Purpose Audio Pre-Training Methods
该论文的数据中心视角(高质量标注数据优先于预训练目标选择)对视觉预训练有直接借鉴意义:可复用其高保真标注生成流程与统一标签系统构建方法,并启示视觉领域在扩大预训练数据时优先提升数据质量与覆盖度。
通过由粗到细语言引导的通用三维形状匹配
Universal 3D Shape Matching via Coarse-to-Fine Language Guidance
把类无关三维分割得到的部件与 MLLM/VLM 的文本嵌入对齐,用语言作为跨类别形状的语义桥梁,再以基于排名的对比学习把粗粒度部件匹配细化为稠密对应,可直接迁移到跨类别非等距形状配准、纹理/属性迁移等任务。
UniSpector:面向通用开放集缺陷识别的光谱对比视觉提示
UniSpector: Towards Universal Open-set Defect Recognition via Spectral-Contrastive Visual Prompting
提出基于视觉提示的开放集缺陷定位框架,利用空间-光谱提示编码器提取方向不变细粒度特征,并通过对比提示编码器将提示空间正则化为语义组织的角度流形,为开放词表检测和少样本缺陷识别提供了可复用的提示拓扑设计思路。
UniRefiner:通过对比寄存器教预训练ViT自行处置伪影
UniRefiner: Teaching Pre-trained ViTs to Self-Dispose Dross via Contrastive Register
提出用对比寄存器(contrastive registers)在少量微调下净化预训练ViT中的伪影词元,可直接用于提升任何ViT在分割、深度估计等密集预测任务上的空间表征质量。
UniLight:一种统一的光照表示
UniLight: A Unified Representation for Lighting
把光照(环境图、辐照度、文本、图像)统一到一个共享潜空间,可直接作为扩散图像合成的条件信号,实现跨模态光照检索与可控重打光;其对比对齐加球谐预测的辅助任务思路也可迁移到其他物理属性(材质、相机参数)的跨模态表示学习。
双曲视觉语言模型中基于不确定性引导与部分到整体语义代表性的组合对齐
Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
把双曲空间中的不确定性作为「部分对整体语义代表性」的度量,并用不确定性加权对比损失与熵正则的蕴含损失来校准,可直接迁移到需要建模层级/组合结构的图文对齐与检索任务。
Ultrasound-CLIP:面向超声图像-文本理解的语义感知对比预训练
Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding
对做医学视觉-语言预训练的人,这篇给出了一个可复用的思路:用领域诊断属性体系构造语义软标签和语义损失,替代 CLIP 的硬负样本对比,并额外引入由文本属性构建的异构图模态做结构化推理;US-365K 与 UDT 体系也可直接作为超声域 VLM 的评测与预训练资源。
TriSim:基于极值理论的三维相似度建模用于遥感图文检索中的假阴性缓解
TriSim: Tri-Dimensional Similarity Modeling with Extreme Value Theory for False-Negative Mitigation in Remote Sensing Image-Text Retrieval
用三维负样本相似度空间(图-图、图-文、文-文)替代单一跨模态阈值来判定假阴性,并用极值理论对尾部样本建模、在三元组损失中赋概率权重;这套假阴性筛选与加权机制可直接迁移到其他图文/视频-文本对比学习检索任务中。
面向鲁棒多模态大语言模型的越狱攻击防御
Towards Robust Multimodal Large Language Models Against Jailbreak Attacks
对做多模态大模型安全的研究者,这篇提供了可复用的对抗训练循环:用对比目标在词元嵌入空间优化出对抗扰动(CoE-Attack),再更新模型参数中和扰动,可作为白盒越狱防御的基线方案。
面向高迁移性视觉语言攻击的语义增强动态对比交互方法
Towards Highly Transferable Vision-Language Attack via Semantic-Augmented Dynamic Contrastive Interaction
对做视觉语言模型鲁棒性评测的人,这篇给出了一个可复用的攻击侧思路:用对抗/正/负样本三元组的动态对比机制持续破坏跨模态对齐,并把传统迁移攻击里的输入变换增强搬到 VLP 上做语义增广,可直接用于检验自家 VLM 的迁移攻击抵抗力。
迈向低光照理解的泛化表征:当信号恒常性遇上语义增强
Towards Generalized Representations for Low-Light Understanding: When Signal Constancy Meets Semantic Enrichment
把视觉基础模型的语义先验与光照不变信号先验耦合进低光照增强:用并行解码器重建光照不变分量做正则化、用 VFM 自相关图引导对比训练对齐语义空间,再用 CLIP 损失把语义线索注入像素级增强,可作为无真实低光数据下的通用域适应范式迁移到其他退化任务。
TopoCL:面向医学影像的拓扑对比学习
TopoCL: Topological Contrastive Learning for Medical Imaging
将持续同调得到的拓扑特征(持久图)通过自注意力与交叉注意力编码,并与视觉表征用自适应MoE融合,为医学图像自监督预训练提供了一种可插拔的拓扑感知增强与表征融合方案。
TR2M:借助语言描述与双层尺度导向对比将单目相对深度迁移为度量深度
TR2M: Transferring Monocular Relative Depth to Metric Depth with Language Descriptions and Dual-Level Scale-Oriented Contrast
把相对深度经文本+图像双模态条件、以像素级重缩放图映射到度量深度,并用深度分布引导的双层对比学习约束尺度,可作为跨域深度尺度对齐与伪度量标签构建的可复用范式。
TLMA:缓解弱标签信息对视频异常检测的影响
TLMA: Mitigating the Impact of Weakly Labeled Information for Video Anomaly Detection
把正常视频中的困难片段当作锚框样本,用对比学习与多示例学习联合拉开异常片段与锚框的投影距离,可直接迁移到其他只有视频级弱标签的时序定位任务(如暴力片段定位、关键事件检测)。
多多益善:面向高阶多模态对齐的对比融合
THE MORE, THE MERRIER: CONTRASTIVE FUSION FOR HIGHER-ORDER MULTIMODAL ALIGNMENT
ConFu 把「模态对」与「模态对+第三模态」的融合嵌入一起拉进同一对比空间,可直接用于视觉-语言-音频等三模态检索与分类;做 VLM 时若需建模图像、文本、音频之间的 XOR 式互补关系,可把该融合对比项接到现有 CLIP 式双塔上,而不必放弃成对对齐。
TAMER:面向零样本心电图诊断的三模态对比对齐与多尺度嵌入细化框架
TAMER: A Tri-Modal Contrastive Alignment and Multi-Scale Embedding Refinement Framework for Zero-Shot ECG Diagnosis
论文提出的三模态对比对齐与多尺度嵌入细化框架,可迁移到视觉-语言-信号的多模态融合任务中,特别是利用诊断报告进行细粒度语义对齐的思路,对医学图像的多模态预训练有直接参考价值。
TACO:面向激光雷达定位与3D目标检测联合的任务感知对比学习
TACO: Task-Aware Contrastive Learning for Joint LiDAR Localization and 3D Object Detection
用对比学习显式解耦静态地理特征与目标中心特征,让定位与3D检测共享一个骨干网络并互为监督;做激光雷达定位或多任务BEV感知时,可借鉴这种按任务属性拆分特征空间、过滤动态噪声的思路。
StructXLIP:利用多模态结构线索增强视觉-语言模型
StructXLIP: Enhancing Vision-language Models with Multimodal Structural Cues
StructXLIP 将边缘图作为视觉结构代理,并设计结构中心损失来增强视觉-语言对齐,为跨模态检索提供了一种即插即用的微调策略,可复用于其他多模态模型的结构感知训练。
通过恢复嵌入几何窃取分割学习底层模型
Stealing Split Learning Bottom Models by Recovering Embedding Geometry
对做隐私保护视觉模型部署的人,这篇给出一个可复用的攻击探针:用对比空间+邻域图匹配来检验嵌入通道的防御是否真的抹掉了关系结构,可作为评估分割式协同推理/联邦视觉系统泄露风险的标准基线。
无像素感知:从相机轨迹中获取感知
Seeing without Pixels: Perception from Camera Trajectories
把相机位姿轨迹当作一种轻量模态,用对比学习对齐到语言嵌入空间,为视频理解提供了一条不依赖像素的表征路径;做视频-文本检索或第一人称动作理解时,可考虑把轨迹编码器作为额外或替代的视觉分支。
SDDF:面向开放词表伪装目标检测的特异性驱动动态聚焦
SDDF: Specificity-Driven Dynamic Focusing for Open-Vocabulary Camouflaged Object Detection
针对伪装目标与背景视觉高度相似导致开放词表检测失效的问题,提出子描述主成分对比融合来过滤多模态大模型生成的冗余修饰词,并用特异性引导的区域弱对齐与动态聚焦增强前景-背景判别,可直接迁移到任何文本提示驱动的检测器中做提示去噪与区域对齐。
SCIEval:用大型多模态模型评估与基准化科学图像生成与解读的忠实度
SCIEval: Evaluating and Benchmarking the Faithfulness of Scientific Image Generation and Interpretation with Large Multimodal Models
提供了一套面向科学图像忠实度的评测模型与基准(SCIEval-Bench),其基于 CLIP 的模态内/跨模态对比学习增强科学图像感知、以及用监督式理由信号微调 LMM 做可解释性归因的做法,可直接迁移到任意生成图像/描述的可信度打分与细粒度错误定位任务中。
S$^2$AM3D:尺度可控的三维点云部件分割
S$^2$AM3D: Scale-controllable Part Segmentation of 3D Point Clouds
把多视图 2D 分割先验通过原生 3D 对比学习聚合成全局一致的点特征,再用连续尺度信号实时调节分割粒度,这套「2D 先验 + 3D 一致性监督 + 尺度提示词解码」的范式可直接迁移到点云部件分割、开放词表 3D 分割等需要跨视图一致性的任务。
Role-SynthCLIP:一种角色扮演驱动的多样化合成数据方法
Role-SynthCLIP: A Role-Play Driven Diverse Synthetic Data Approach
用多视角角色扮演提示驱动 MLLM 为同一张图生成互补字幕,在固定图像数量下提升图文对的语义多样性,可直接复用于 CLIP 类模型的预训练数据构造与细粒度对齐。
重新审视未知类:迈向高效且有效的开放集主动学习
Revisiting Unknowns: Towards Effective and Efficient Open-Set Active Learning
提出一种无需独立开放集检测器的统一主动学习框架,利用冻结的对比预训练特征空间进行标签引导聚类,并用 Dirichlet 校准的辅助检测头联合建模已知与未知类,可直接用于视觉任务中标注预算受限下的开放世界数据筛选。
面向对比多视图聚类的可靠聚类数估计
Reliable Clustering Number Estimation for Contrastive Multi-View Clustering
把「聚类数 k 未知」当作可学习变量,用簇内/簇间距离构造强化学习奖励来自动推断 k,并用成对表征差异自适应加权视图以缓解对比学习中的表征退化——这两点可直接迁移到视觉表征的无监督聚类与多视图融合流程中。
重新评估CLIP中的模态内错位假设
Reevaluating the Intra-Modal Misalignment Hypothesis in CLIP
该论文对CLIP类模型嵌入空间的分析表明,跨模态对齐损失并未导致图像间距离的次优校准,因此视觉研究者无需为图像任务额外引入模态内对齐损失,可直接复用CLIP/SigLIP特征进行检索和少样本分类。
ReScene4D:演化室内三维场景的时序一致语义实例分割
ReScene4D: Temporally Consistent Semantic Instance Segmentation of Evolving Indoor 3D Scenes
针对间歇性采集的室内 3D 扫描,提出时序稀疏 4D 语义实例分割任务,通过时空对比损失和序列化实现跨观测的实例身份关联,可直接用于动态室内场景的长期建图与变化检测。
ReMatch:通过匹配提升多模态检索中的表征
ReMatch: Boosting Representation through Matching for Multimodal Retrieval
将MLLM的生成能力用于多模态检索,通过生成式匹配阶段提供实例级判别监督,增强对比学习在困难负样本上的梯度;同时使用多个可学习token生成细粒度正交嵌入,为视觉-语言检索提供可复用的训练配方。
ReCALL:为基于多模态大模型的组合图像检索重新校准能力退化
ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval
把生成式 MLLM 适配为判别式检索器时会出现细粒度推理能力退化,ReCALL 用「自引导难例挖掘 + MLLM 生成纠正指令与三元组 + 分组对比持续训练」的 diagnose-generate-refine 流程把退化能力拉回来;做多模态检索或把 MLLM 蒸馏成嵌入模型的工作可直接复用这套自举数据生成与一致性过滤机制。
ReAlign:通过推理对齐表征实现可泛化的图像伪造检测
ReAlign: Generalizable Image Forgery Detection via Reasoning-Aligned Representation
把LLM生成的推理文本当作可蒸馏的语义监督信号,通过图文对比对齐将其迁移到轻量检测器中,为视觉取证任务提供了一条「用推理表征提升泛化性」的可复用路径,可直接用于AIGI检测与跨生成器泛化评测。
秩引导伪偏差学习用于鲁棒黑盒适配
Rank-Guided Pseudo-Bias Learning for Robust Black-Box Adaptation
提出一种无需访问骨干网络参数和人口统计标注的黑盒去偏框架,通过轻量适配器放大潜在虚假方向、无监督聚类生成伪偏差标签,并结合监督对比对齐与自适应边界净化表示,可直接用于冻结视觉基础模型的下游公平性提升。
PvP:基于本体感知-特权对比表征的数据高效人形机器人学习
PvP: Data-Efficient Humanoid Robot Learning with Proprioceptive-Privileged Contrastive Representations
把本体感知状态与特权状态做对比学习来学紧凑潜变量表征,可直接迁移到视觉-本体多模态的具身策略学习中,用来缓解部分可观测下的样本低效;其 SRL4Humanoid 框架也为表征学习与 RL 结合的消融提供了可复用基线。
以大规模多模态对应学习推进音视频感知前沿
Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning
把视频-文本对比学习扩展到音视频-文本三模态联合嵌入,并提供用大模型为亿级音视频对合成高质量描述的数据引擎;做视频理解或多模态检索时,可直接复用其十组成对对比目标与跨模态/描述类型配对的扩展策略来提升零样本迁移。
PowerCLIP:面向对比预训练的幂集对齐
PowerCLIP: Powerset Alignment for Contrastive Pre-Training
把图文对齐从「整图-整句」和「单 token-单 patch」推进到「区域子集-短语子树」的幂集级对齐,并用非线性聚合器把 2^M 复杂度降到 O(M),这套聚合思路可直接迁移到任何需要枚举组合子集的细粒度跨模态对齐或区域级对比学习框架中。
面向按相机联邦行人重识别的姿态引导增强特征学习
Pose-guided Enriched Feature Learning for Federated-by-camera Person Re-identification
在每客户端仅单相机的联邦设定下,用姿态解耦模块把特征拆成姿态相关/无关分量并跨身份重组,合成姿态交换特征来增强对比学习,可直接迁移到其他需要扩充姿态多样性的ReID或行人表征学习流程。
PointGS:基于3D高斯泼溅的语义一致无监督3D点云分割
PointGS: Semantic-Consistent Unsupervised 3D Point Cloud Segmentation with 3D Gaussian Splatting
利用3D高斯泼溅作为中间表示,将稀疏点云重建为稠密高斯空间,再通过多视图渲染和SAM提取语义,用对比学习蒸馏到3D高斯基元,最后配准回原点云实现无监督分割。这为2D-3D语义迁移提供了一种可复用的技术路线,尤其适合标注稀缺的3D场景理解任务。
POGA:用于细粒度跨模态检索的释义与对立图对齐
POGA: Paraphrased and Oppositional Graph Alignment for Fine-Grained Cross-Modal Retrieval
POGA 将图像和文本解析为结构化图,并通过多源图增强生成释义正例和对抗负例,为跨模态细粒度对齐提供丰富的监督信号;其混合多粒度对齐目标(全局、节点、关系、焦点反驳)可复用于任何需要细粒度图文匹配的视觉语言任务。
Omni-Attribute:面向视觉概念个性化的开放词表属性编码器
Omni-Attribute: Open-vocabulary Attribute Encoder for Visual Concept Personalization
把「属性」当作可检索的开放词表嵌入来学习,用正负属性配对数据加对比解耦目标,替代通用编码器的整体嵌入;做个性化/风格迁移时可直接复用该编码器来隔离身份、光照、风格等单一因素,减少信息泄漏。
无需硬负样本:以概念为中心的学习在不损害对比模型零样本能力的前提下实现组合性
No Hard Negatives Required: Concept Centric Learning Leads to Compositionality without Degrading Zero-shot Capabilities of Contrastive Models
用无参数的跨模态注意力池化替代文本/图像编码器的全局池化,从图像中抽取概念级视觉嵌入,并与短概念化文本片段对齐;这套改动可直接插到 CLIP 类双塔模型上,在不增加推理成本的前提下提升组合性理解,同时不牺牲零样本与检索性能。
Neighbor GRPO:对比式常微分方程策略优化对齐流模型
Neighbor GRPO: Contrastive ODE Policy Optimization Aligns Flow Models
对做扩散/流匹配模型偏好对齐的人,这篇给出了绕开 SDE 的 GRPO 方案:直接扰动 ODE 初始噪声构造候选轨迹,用基于距离的 softmax 代理目标做策略梯度,从而保留确定性采样与高阶求解器的少步采样优势,可直接替换现有 SDE-GRPO 训练流程。
面向视觉语言数据集蒸馏的多模态分布匹配
Multimodal Distribution Matching for Vision-Language Dataset Distillation
把数据集蒸馏从单模态扩展到图文对,用联合嵌入空间聚类初始化合成样本、在权重空间插值出混合教师、并在单位超球面上做几何感知的联合分布匹配,这套流程可直接迁移到视觉侧的数据压缩与跨模态预训练数据筛选。
通过自适应概率高斯校准的多模态测试时自适应
Multi-modal Test-time Adaptation via Adaptive Probabilistic Gaussian Calibration
把类别条件分布显式建模成概率高斯模型,并用对比式非对称校正来抵消模态间分布不对称,这套思路可直接迁移到视觉-语言模型在推理阶段的分布偏移自适应,尤其是需要可靠决策边界的开放场景。
面向空间转录组学的多视图层次对齐学习
Multi-View Hierarchical Alignment Learning for Spatial Transcriptomics
论文提出的层次化对齐学习(样本级正样本对齐+原型级对比学习)可迁移到多视图视觉表征学习任务中,例如多模态图像聚类或跨视角特征融合,为视觉领域处理视图间不一致性和语义监督缺失提供了一种通用框架。
面向多视图聚类的多层级对比谱融合
Multi-Hierarchical Contrastive Spectral Fusion for Multi-View Clustering
把深度谱嵌入直接嵌入编码器以保留局部流形结构,并配合视图级/共识级的多层级对比损失,可作为多视图或多模态特征融合时提升聚类友好性与跨视图一致性的可复用训练范式。
MuCo:面向多模态嵌入模型的多轮对比学习
MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model
MuCo 将多轮对话结构引入对比学习,在单次前向中处理多个相关查询-目标对,可复用于视觉-语言检索模型的训练效率提升与嵌入一致性增强。
建模人类草图的视觉歧义性
Modeling the Visual Ambiguity of Human Sketches
AmbiScore 把「草图-图像对本身有多歧义」量化成一个可计算的指标,并据此自适应调节监督强度;做跨模态对齐或噪声监督训练时,可以直接借用这种按样本不确定性加权监督的思路,Purified Matching 的 shape jigsaw / texture swapping 也可作为解耦结构与外观的通用数据构造手段。
MoBind:面向细粒度 IMU-视频姿态对齐的运动绑定
MoBind: Motion Binding for Fine-Grained IMU-Video Pose Alignment
把视频中提取的2D骨骼序列当作视觉侧表征,与IMU信号做分层对比对齐,为视觉研究者提供了一个绕开像素、用姿态序列做跨模态时序对齐与检索的可复用范式,尤其适合第一人称/可穿戴场景下的细粒度时序同步。
缓解实例依赖偏标签学习中的实例纠缠
Mitigating Instance Entanglement in Instance-Dependent Partial Label Learning
针对弱监督分类中候选标签与实例特征耦合导致的类间混淆,提出类特定增强与加权惩罚损失来拉开类间距离,可复用于噪声标签、开放词表等标签歧义场景下的表征判别性提升。
MeshFlow:基于 MeshVAE 与流式扩散 Transformer 的高效艺术网格生成
MeshFlow: Efficient Artistic Mesh Generation via MeshVAE and Flow-based Diffusion Transformer
用带对比损失的 VAE 把连续顶点坐标与离散连接关系压进一个紧凑的连续潜空间,再用 Rectified-Flow Transformer 并行生成全部顶点与边,为三维网格生成提供了可替代自回归 token 预测的潜空间+流匹配范式。
MedKCO:通过知识驱动的认知编排进行医学视觉语言预训练
MedKCO: Medical Vision-Language Pretraining via Knowledge-Driven Cognitive Orchestration
把课程学习引入医学视觉语言预训练的数据排序与对比目标调度,提供了一种按诊断敏感性和类内代表性组织预训练数据、并用自步非对称对比损失缓解类间相似性干扰的可复用训练策略。
MedCLIPSeg:面向数据高效与可泛化医学图像分割的概率视觉-语言适配
MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation
将CLIP的patch级嵌入通过概率跨模态注意力进行适配,并引入软patch级对比损失,为视觉研究者提供了一种在标注稀缺的医学图像上实现文本引导分割且能输出不确定性图的通用思路。
材质魔杖:无纹理网格中三维部件的材质感知分组
Material Magic Wand: Material-Aware Grouping of 3D Parts in Untextured Meshes
把「材质一致性」作为监督信号,用对比学习训练部件级嵌入,使同一材质但几何有差异的重复部件在嵌入空间聚拢;做三维部件检索、重复结构发现或材质分配时,可直接复用这种「局部几何+全局上下文」的部件编码器与检索式分组范式。
掩码对齐、加权消歧:基于掩码加权对比的可靠无监督跨模态哈希
Mask to Align, Weight to Disambiguate: Reliable Unsupervised Cross-Modal Hashing with Masked-Weight Contrast
在多模态融合前引入掩码构造部分观测交互,并用语义亲和度加权的对比目标抑制假阴性,这套「掩码+加权对比」思路可直接迁移到视觉-文本检索、图文对齐等跨模态表征学习任务中,缓解主导模态偏置与语义相近样本被误判为负例的问题。
爱屋及乌:重新思考标签在视觉上下文学习提示词检索中的作用
Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning
为视觉上下文学习中的提示词检索引入标签一致性约束,并设计图像-标签联合表示与查询自适应混合专家路由,可直接用于分割、检测等下游任务的提示词选择。
通过潜空间跨模态对齐与翻译的 LiDAR 到 4D 雷达扩散桥
LiDAR-to-4DRadar Diffusion Bridge via Cross-Modal Alignment and Translation in Latent Space
把扩散桥(diffusion bridge)用在两个已对齐的潜空间之间做跨模态翻译,可迁移到 LiDAR→相机、深度→RGB 等「缺失模态补全」任务;其 patch-wise 对比对齐 + key-voxel-aware VAE 的组合,为高维稠密张量(雷达/体素)的生成式数据增强提供了可复用范式。
从语义词典中学习:面向统一视觉表征与生成的判别式码本对比学习
Learning from Semantic Dictionaries: Discriminative Codebook Contrastive Learning for Unified Visual Representation and Generation
把生成式掩码词元重建与码本对比损失结合在同一个离散词元空间里训练,为视觉研究者提供了一条无需数据增强、教师模型和在线分词器即可同时获得强表征与高质量生成的统一预训练路径,可直接复用于统一理解-生成模型的骨干预训练。
无需伪造先验的伪造感知唇部表征学习
Learning Forgery-Aware Lip Representations Without Forgery Priors
提出仅用真实数据训练的伪造检测范式:用非对称对比目标把真实样本压紧、把潜在伪造推远,并用各向同性高斯正则约束真实表征空间,可直接迁移到其他「无伪造先验」的深度伪造检测与开放集异常识别任务。
面向机器人操作的语言锚定解耦动作表征
Language-Grounded Decoupled Action Representation for Robotic Manipulation
把高层视觉-语言表征与低层动作控制解耦,用语言作为语义桥梁,并以翻译/旋转/夹爪三类动作基元作为细粒度中间层;对做 VLA 或视觉-语言条件策略的研究者,这套「语义引导软标签对比学习 + 课程式自适应权重」可直接迁移到自己的动作头对齐与跨任务泛化上。
LASAR:面向时空推理的潜在认知地图
LASAR: Towards Spatio-temporal Reasoning with Latent Cognitive Map
ST-CRL 用仿真中带时空标注的查询构造对比样本对,把碎片化经验压成内部认知地图,这一自监督信号可直接迁移到任何需要长程空间记忆的视觉导航或具身问答模型训练中。
模态鸿沟是缺陷还是特性?一个鲁棒性视角
Is the Modality Gap a Bug or a Feature? A Robustness Perspective
对做视觉-语言对齐(CLIP 类)的研究者,这篇给出了一个可直接复用的后处理手段:把图像嵌入整体平移到文本嵌入均值方向,即可在不损失干净精度的前提下提升对语义无关扰动的稳定性;同时提供了「对比损失最优解必然产生正交全局鸿沟向量」的理论视角,可用于分析嵌入空间几何与鲁棒性的关系。
IVAAN:面向细胞核分析的属性引导文本提示生成实例级视觉语言对齐
IVAAN: Instance-level Vision-Language Alignment via Attribute-Guided Text Prompts Generation for Nuclei Analysis
用真值掩码自动生成属性引导的文本描述,再以对比学习把实例级视觉表征与语义锚点对齐,并学习类内多个原型 token 建模子模态——这套「无人工文本标注的实例级视觉语言对齐 + 原型语义反馈」可直接迁移到其他缺乏实例级文本标注的密集预测任务(如细胞/病灶/遥感目标分割)。
面向少样本缺陷分类的双曲缺陷特征合成
Hyperbolic Defect Feature Synthesis for Few-Shot Defect Classification
把缺陷特征合成从欧氏空间搬到双曲空间,用少量双曲缺陷原型建模潜在缺陷分布,并用层级缺陷对比损失优化合成特征;做少样本工业缺陷分类、或需要建模层次结构的数据增强时,可复用这套双曲原型+对比损失的合成管线。
HieraMamba:基于层次化锚框-Mamba池化的视频时序定位
HieraMamba: Video Temporal Grounding via Hierarchical Anchor-Mamba Pooling
用 Mamba 的选择性扫描在多个尺度上生成紧凑锚框 token,替代固定窗口或过度下采样,为长视频时序定位保留细粒度时序保真度;锚框条件与分段池化对比损失可作为通用的多尺度时序表征学习手段迁移到其他视频-语言任务。
HERO:面向开放词表视频时序句子定位的分层嵌入精炼
HERO: Hierarchical Embedding-Refinement for Open-Vocabulary Temporal Sentence Grounding in Videos
论文提出的开放词表时序句子定位任务和分层嵌入精炼框架,为视觉语言模型在词汇偏移下的泛化提供了可复用的评测基准和跨模态对齐方法,特别是语义引导的视觉过滤和对比掩码文本精炼技术,可直接用于视频-语言对齐任务。
HCL-FF:面向前向-前向算法的层级与对比学习
HCL-FF: Hierarchical and Contrastive Learning for Forward-Forward Algorithm
为视觉分类网络提供一种不依赖反向传播的逐层局部训练范式,其粗到细层级引导与 goodness 解耦后的监督对比对齐可直接嵌入现有 FF 类训练流程以提升表征判别性。
H2-Surv:面向生存预测的层级双曲多模态表征学习
H2-Surv: Hierarchical Hyperbolic Multimodal Representation Learning for Survival Prediction
把全切片图像的多级结构(patch→WSI→患者)与基因组层级一起嵌入共享双曲空间,并用序数对比损失保持风险分数的连续性;做病理图像层级建模或需要保留样本间细粒度序关系时,这套双曲层级编码加序数对比目标可直接迁移。
以对比信号引导基于扩散的重建以获得均衡的视觉表征
Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation
把对比信号注入以 CLIP 视觉 token 为条件的扩散重建过程,并用重建图像而非原图产生对比监督,从而在统一目标下同时提升判别性与细节感知能力;这一「重建+对比」联合优化思路可直接迁移到任何需要增强视觉编码器表征的 VLM 流程中。
GraPHFormer:用于神经科学形态分析的多模态图持续同调 Transformer
GraPHFormer: A Multimodal Graph Persistent Homology Transformer for the Analysis of Neuroscience Morphologies
把持续同调得到的持续图像当作三通道视觉输入、用 DINOv2-ViT 提取特征,再与 TreeLSTM 的骨架图特征做 CLIP 式对称 InfoNCE 对齐——这套「拓扑图像 + 图结构」双分支对比框架可直接迁移到其他需要同时建模形状拓扑与骨架几何的视觉任务(如血管、道路、细胞骨架分析)。
面向不完整与噪声多视图数据统一聚类的全局图引导与局部图加权对比学习
Global-Graph Guided and Local-Graph Weighted Contrastive Learning for Unified Clustering on Incomplete and Noise Multi-View Data
全局图引导构造新样本对、局部图生成成对权重来加权对比学习,这套「免插补」的图引导对比框架可直接迁移到视觉多视图/多模态表征学习(如多相机、RGB-深度、图像-文本)中处理缺失模态与错配样本。
GT-SVJ:基于生成Transformer的自监督视频裁判用于高效视频奖励建模
GT-SVJ: Generative-Transformer-Based Self-Supervised Video Judge For Efficient Video Reward Modeling
将视频生成模型(如扩散模型)通过能量模型重参数化,并利用潜在空间扰动构造负样本进行对比训练,从而作为时序感知的奖励模型,为视频生成质量评估和偏好对齐提供了新思路。
从注入到同化的蒸馏用于医学图像分割
From Infusion to Assimilation Distillation for Medical Image Segmentation
把知识蒸馏拆成「注入+同化」两阶段:先用类加权原型对齐软标签蒸馏对齐师生预测分布,再用对比式语义自优化对编码器特征施加反向约束,可作为在算力受限场景下压缩 SAM 类基础模型到轻量分割网络的通用蒸馏范式。
从检测到关联:为多目标跟踪学习判别性目标嵌入
From Detection to Association: Learning Discriminative Object Embeddings for Multi-Object Tracking
针对端到端 DETR 类跟踪器中共享检测嵌入类间相似度过高的问题,用空间/时序/身份三个适配器在检测特征上做显式精炼,可直接迁移到任何 DETR 式跟踪或关联头中提升跨帧实例判别性。
面向弱监督时序情感定位的人脸引导情感边界增强
Face-Guided Sentiment Boundary Enhancement for Weakly-Supervised Temporal Sentiment Localization
将细粒度人脸特征作为情感刺激线索引入多模态交互,并用点级对比学习与边界感知伪标签生成来缓解弱监督下的边界模糊问题,为视频时序定位中的弱监督边界增强提供了可复用的思路。
FRAMER:频率对齐的自蒸馏与自适应调制,利用扩散先验实现真实世界图像超分辨率
FRAMER: Frequency-Aligned Self-Distillation with Adaptive Modulation Leveraging Diffusion Priors for Real-World Image Super-Resolution
提出一种即插即用的训练方案,利用扩散模型内部特征图的频域分解(LF/HF)进行自蒸馏,通过对比损失和自适应调制增强高频细节重建,可推广到其他基于扩散先验的低层视觉任务。
FALCON:视觉语言对齐中假负样本感知的对比负样本学习
FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment
针对视觉语言预训练中图文多对多对应导致的假负样本问题,提出用可学习的负样本挖掘调度器在 mini-batch 构建阶段为每个锚框实例动态选择合适难度的负样本;做图文检索、CLIP 类对齐训练的工作可以直接把这一负样本调度策略插到自己的对比损失里,替代固定的难负样本启发式。
Evo-Retriever:面向多模态文档检索的视角—路径协同 LLM 引导课程演化
Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval
面向视觉文档检索,提出多视角图像对齐与双向对比学习构造难负例,并用 LLM 元控制器按模型状态动态调整训练课程;做跨模态检索或图文匹配时,可借鉴其难例挖掘与课程调度思路来缓解跨模态嵌入混淆。
EthoCLIP:本体增强的视频-语言预训练用于动物行为理解
EthoCLIP: Ontology-Enhanced Video-Language Pretraining for Animal Behavior Understanding
将结构化领域本体(NBO)作为归纳偏置注入视觉-语言对比学习,通过本体感知图模块建模行为层级关系,为数据稀缺的细粒度视频理解提供可复用的语义增强预训练范式。
增强视频视觉语言模型的海马体感知
Enhancing Video Vision Language Model with Hippocampal Sensing
提出跨模态预测感知范式与对比强化学习算法 VANAO,可借鉴用于视频-音频联合推理与选择性信息获取,提升视频 VLM 的推理效率与准确性。
Easy2Hard:从部分不匹配到完全不匹配的模态作为对比学习负样本
Easy2Hard: From Partially to Fully Unmatched Modalities as Negative Samples in Contrastive Learning
对做多模态视觉表征(如图文、视频-音频-文本)的研究者,这篇论文给出了一个可直接替换的负样本构造与加权策略:把部分不匹配与完全不匹配的模态对分开,并用 sigmoid 权重课程从易到难过渡,可嵌入现有对比学习损失中提升细粒度对齐效果。
EG-3DVG:面向 3D 视觉定位的表达式与几何感知定位解码器
EG-3DVG: Expression and Geometry Aware Grounding Decoder for 3D Visual Grounding
面向 3D 视觉定位的解码器设计:位置引导的表达式交叉注意力把文本线索可靠注入视觉词元,几何感知掩码注意力只聚合几何一致的邻域特征,可直接迁移到任何需要文本-点云对齐的 grounding 或指代分割流程。
基于 Fisher 信息剪枝的领域敏感联邦学习
Domain Sensitive Federated Learning with Fisher-Informed Pruning
把 Fisher 信息当作逐域通道重要性信号,在联邦场景下生成共享剪枝掩码并按域重激活通道,可迁移到视觉模型的多域个性化压缩与结构对齐;结构对比损失利用域原型增强域内一致性与域间可分性,对多域视觉表征学习有直接参考价值。
基于跨域流形共识的解耦式图像去雾
Disentanglement-wise Image Dehazing through Cross-Domain Manifold Consensus
提出跨域不变流形(CIM)对齐多域特征,并用共识密度驱动的对比学习优化,可复用于其他跨域底层视觉任务(如去雨、去噪)以消除域偏差;物理引导的HSV分解网络为颜色保真提供了解耦思路。
DETACH:面向外视角视频与环境传感器的分解式时空对齐与分阶段学习
DETACH : Decomposed Spatio-Temporal Alignment for Exocentric Video and Ambient Sensors with Staged Learning
论文把外视角视频分解为空间与时序分量,并用在线聚类把环境传感器的隐式通道激活转成显式空间原型,从而建立跨模态空间视觉定位;这套「分解+原型视觉定位+加权对比」的流程可直接迁移到视频-音频、视频-IMU 等跨模态时序对齐任务,尤其是需要抑制假负样本的细粒度时序对齐场景。
D$^2$-FOSA:双扩散引导的频域语义对齐脑电到图像重建
D$^2$-FOSA: Dual-Diffusion Guided EEG-to-Image Reconstruction with Frequency-Oriented Semantic Alignment
论文提出的双扩散潜变量生成器(DDLG)与频域导向的Mamba编码器,为跨模态生成(如EEG到图像)提供了可复用的双向条件扩散框架和频域特征建模思路,可启发视觉-脑信号对齐及基于扩散的语义重建研究。
面向多实例学习全切片图像分类的对比跨袋增强
Contrastive Cross-Bag Augmentation for Multiple Instance Learning-based Whole Slide Image Classification
C2Aug 的跨袋增强与袋级/组级对比学习框架可迁移到其他弱监督密集预测任务(如组织病理分割、遥感场景分类),用于提升伪包多样性和特征判别性。
超越对比的一致性:通过上下文一致性学习增强开放词表目标检测鲁棒性
Consistency Beyond Contrast: Enhancing Open-Vocabulary Object Detection Robustness via Contextual Consistency Learning
提出上下文一致性学习框架,通过生成同一物体在不同背景下的图像并施加特征一致性损失,提升开放词表检测器对背景变化的鲁棒性,可直接用于增强现有开放词表检测模型的泛化能力。
CoCoVideo:面向AI生成视频检测的基于商用模型的高质量对比基准
CoCoVideo: The High-Quality Commercial-Model-Based Contrastive Benchmark for AI-Generated Video Detection
提供了基于13个商用生成器的语义对齐真假视频对,可用于训练和评测高保真AIGC视频检测器;其「R3D-18时空特征+置信度门控路由到MLLM推理物理合理性」的框架,为在视觉检测中引入多模态大模型推理提供了可复用的设计范式。
CVA:面向视频时序定位的上下文感知视频-文本对齐
CVA: Context-aware Video-text Alignment for Video Temporal Grounding
QCD 的「只混入语义无关片段」的替换池构造方式,可直接迁移到任何视频-文本对比学习(如视频检索、片段定位)中,用来避免 query-agnostic 混合带来的假负样本;CBD 损失在时序边界处强制语义一致性,是提升边界敏感任务的通用手段。
类 CLIP 模型作为基础密度比估计器
CLIP-like Model as a Foundational Density Ratio Estimator
把 CLIP/SigLIP 的对比学习目标重新解释为预训练密度比估计器,可直接用于多模态数据筛选(KL 引导的 LAION2B 过滤替代)和少样本提示词下的重要性加权,为视觉-语言数据处理与提示词工程提供可复用工具。
CLEP:对比语言-姿态预训练
CLEP: Contrastive Language-Pose Pretraining
提出层次化姿态编码器与跨尺度注意力融合机制,将关节、肢体、身体多层级特征动态整合,可用于任何需要细粒度人体姿态-语言对齐的视觉-语言任务,如文本驱动的姿态生成与编辑。
CARE 何为失败:面向可验证多模态推理的对比锚定反思
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal Reasoning
对做多模态推理后训练的人,CARE 给出了一套把「全错批次」和「接近正确」的 rollout 转成对比监督的具体配方:锚定对比目标 + 组内 z-score 归一化 + 全负样本救援,可直接替换 GRPO 的损失项;RGR 的单样本结构化自修复则提供了一种无需测试时反思就能把近失样本转成正样本的重采样策略。
CAPT:面向减少视觉-语言错位的混淆感知提示词微调
CAPT: Confusion-Aware Prompt Tuning for Reducing Vision-Language Misalignment
把 CLIP 类模型在相似类别间的系统性混淆当作可学习的监督信号:用混淆库加语义/样本双挖掘器与多粒度专家融合来修正提示词,可直接迁移到任何需要细粒度判别或开放词表分类的视觉-语言下游任务。
自举你的音视频代理:面向音视频分割的自适应对比与原型学习
Bootstrap Your Own AV-Proxies: Adaptive Contrastive and Prototype Learning for Audio-Visual Segmentation
论文提出的自监督音频增强模块通过对比学习对齐音频与梯度阻断的视觉嵌入,以及动态原型约束模块利用动量更新原型增强像素级类别感知,这两者均可作为跨模态对齐与分割的通用技术手段,尤其适用于需要抑制融合噪声的多模态分割任务。
面向目标检测的保持驱动知识压缩黑盒域自适应
Black-Box Domain Adaptation for Object Detection with Retention-Driven Knowledge Compression
把终身学习中的记忆保持与场景压缩机制引入黑盒域自适应目标检测,用分区记忆对比学习过滤噪声伪标签、用近远视图对比挖掘远视区域线索,可直接迁移到无源数据的目标检测域迁移场景。
BioVITA:面向视觉-文本-声学对齐的生物数据集、模型与基准
BioVITA: Biological Dataset, Model, and Benchmark for Visual-Textual-Acoustic Alignment
把音频作为第三模态接入 BioCLIP2 式的图文对比表征空间,并给出覆盖三模态全方向、三个分类层级的跨模态检索基准,为视觉研究者提供可复用的多模态对齐训练范式与评测协议。
超越[CLS]词元:查询驱动的词元级伪造净化用于可泛化深度伪造检测
Beyond [CLS] Token: Query-Driven Token-Level Forgery Purification for Generalizable Deepfake Detection
针对ViT基础模型在深度伪造检测中[CLS]词元偏向全局语义的问题,提出可学习的查询词元聚合多图像块证据,并设计伪造似然对比损失与真实注意力对齐约束,为利用视觉基础模型做细粒度取证提供了可复用的词元级特征重组方案。
超越共享信息:从中间层恢复丢失的独特信息以提升多模态地理基础模型
Beyond What's Shared: Recovering Lost Unique Information from Intermediate Layers to Boost Multimodal Geo-Foundation Models
对做多模态对比学习(如 CLIP 式图文对齐)的人,这篇给出一个几乎零成本的改进:把中间层与最后一层特征融合,可恢复被对齐目标压掉的模态特有信息;其逐层分析(模态间隙、表征相似度、互信息)也可直接迁移到视觉-语言模型的特征选择与层融合策略上。
超越二值对比:用过渡锚框建模连续骨骼动作空间
Beyond Binary Contrast: Modeling Continuous Skeleton Action Spaces with Transitional Anchors
把二值对比目标替换为在动作流形上构造过渡锚框并做多层级几何校准,可直接迁移到任何需要建模连续类间过渡的自监督表征学习任务(如细粒度动作、时序分割边界)。
BD-Merging:证据引导对比学习的偏差感知动态模型合并
BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning
对做多任务视觉模型部署的人,这篇给出了一套在测试时分布偏移下仍可靠的无监督模型合并方案:用证据检测头建模统一标签空间上的不确定性,再用邻域证据差异分数(ADS)驱动对比学习训练去偏路由器,按样本动态分配任务/层权重。可直接复用到多任务检测、分割等模型的免数据合并与测试时自适应场景。
面向多类别 3D 异常检测的语义解耦统一模型
A Semantically Disentangled Unified Model for Multi-category 3D Anomaly Detection
针对统一多类别 3D 异常检测中的类别间语义纠缠问题,提出基于解耦语义表示的条件重建框架,可复用于其他需要多类别统一建模的 3D 点云分析任务。
VLM 与 IRM 的因果联姻:从理解到推理
A Causal Marriage between VLM and IRM from Understanding to Reasoning
把 CLIP 的对比目标在 token 粒度上重新解释为 IRM 的不变性准则,并给出一个无需改结构的中训练方案来注入不变学习信号;做视觉-语言预训练或 OOD 泛化的人可以直接复用这套 token 分解与词表约束 InfoNCE 等价性,以及用不变对齐分数作为 MLLM 强化学习过程奖励的思路。