Tag · 20 篇
视觉语言预训练
Ultrasound-CLIP：面向超声图像-文本理解的语义感知对比预训练
Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding
对做医学视觉-语言预训练的人，这篇给出了一个可复用的思路：用领域诊断属性体系构造语义软标签和语义损失，替代 CLIP 的硬负样本对比，并额外引入由文本属性构建的异构图模态做结构化推理；US-365K 与 UDT 体系也可直接作为超声域 VLM 的评测与预训练资源。
从变换到迁移：提升视觉语言预训练模型上的对抗攻击迁移性
Transform to Transfer: Boosting Adversarial Attack Transferability on Vision-Language Pre-training Models
可学习的变换组合机制（自适应选择最优变换以最大化输入多样性）可直接迁移到任何黑盒迁移攻击流程中，替代手工固定的变换堆叠；积分梯度用于缓解对源模型的过拟合，也是提升跨模型迁移性的通用手段。
面向胸部X光片间期变化学习的时序反转
Temporal Inversion for Learning Interval Change in Chest X-Rays
把「图像对反转」当作监督信号来训练时序视觉-语言模型，这个思路可直接迁移到任何需要建模方向性变化的视觉任务（如变化检测、视频时序顺序判别、术前术后对比），并提供了一个可复用的顺序敏感性与一致性评测协议。
SECOS：面向开放世界半监督学习中严格分类的语义捕获
SECOS: Semantic Capture for Rigorous Classification in Open-World Semi-Supervised Learning
用外部视觉-语言知识为无标注新类样本构造显式语义监督，把开放世界半监督分类从'聚类后匹配'变成直接输出候选文本标签，可迁移到开放词表识别与新类发现场景。
SDDF：面向开放词表伪装目标检测的特异性驱动动态聚焦
SDDF: Specificity-Driven Dynamic Focusing for Open-Vocabulary Camouflaged Object Detection
针对伪装目标与背景视觉高度相似导致开放词表检测失效的问题，提出子描述主成分对比融合来过滤多模态大模型生成的冗余修饰词，并用特异性引导的区域弱对齐与动态聚焦增强前景-背景判别，可直接迁移到任何文本提示驱动的检测器中做提示去噪与区域对齐。
面向视觉语言数据集蒸馏的多模态分布匹配
Multimodal Distribution Matching for Vision-Language Dataset Distillation
把数据集蒸馏从单模态扩展到图文对，用联合嵌入空间聚类初始化合成样本、在权重空间插值出混合教师、并在单位超球面上做几何感知的联合分布匹配，这套流程可直接迁移到视觉侧的数据压缩与跨模态预训练数据筛选。
从条目化文本监督中学习完整且可解释的视觉表征
Learning complete and explainable visual representations from itemized text supervision
针对单图多条目文本（如医学影像的多处独立发现）的监督，用交叉注意力生成条目条件化的视觉嵌入，并设计条目独立性与覆盖完整性目标，可复用于非物体中心领域的视觉-语言预训练与细粒度定位式解释。
InstAP：面向时空理解的实例感知视觉-语言预训练
InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding
提出实例级对比对齐目标，将文本提及定位到时空区域，可复用于需要细粒度视觉-语言对齐的任务（如指代分割、视频实例检索），并证明实例级预训练能提升全局零样本视频理解。
从面板到像素：面向生物医学科学文献的放大式视觉语言预训练
From Panel to Pixel: Zoom-In Vision-Language Pretraining from Biomedical Scientific Literature
把多面板科研图拆成 figure/panel/region 三级图文对，为视觉语言预训练提供细粒度、可复用的数据构造与多粒度目标统一思路，可直接迁移到任何含密集标注结构的图文语料（如说明书、海报、UI 截图）。
FALCON：视觉语言对齐中假负样本感知的对比负样本学习
FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment
针对视觉语言预训练中图文多对多对应导致的假负样本问题，提出用可学习的负样本挖掘调度器在 mini-batch 构建阶段为每个锚框实例动态选择合适难度的负样本；做图文检索、CLIP 类对齐训练的工作可以直接把这一负样本调度策略插到自己的对比损失里，替代固定的难负样本启发式。
EthoCLIP：本体增强的视频-语言预训练用于动物行为理解
EthoCLIP: Ontology-Enhanced Video-Language Pretraining for Animal Behavior Understanding
将结构化领域本体（NBO）作为归纳偏置注入视觉-语言对比学习，通过本体感知图模块建模行为层级关系，为数据稀缺的细粒度视频理解提供可复用的语义增强预训练范式。
通过聚类感知上采样增强混合专家模型的特化能力
Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling
对需要在视觉-语言预训练中把稠密 CLIP 骨干升级为 MoE 的研究者，本文给出一种可复用的初始化方案：用输入激活的语义聚类 + 截断 SVD 初始化各专家、用聚类质心初始化路由器，并配合专家集成自蒸馏稳定路由，可直接替换稀疏上采样以提升零样本/少样本迁移。
基于影响匹配的数据集蒸馏
Dataset Distillation by Influence Matching
用可微的样本级影响估计器替代逐步梯度/轨迹匹配来学习合成数据，视觉研究者可将其作为数据压缩与高效预训练的数据构造手段，并可直接迁移到图文检索等跨模态蒸馏场景。
概念感知批采样改进语言-图像预训练
Concept-Aware Batch Sampling Improves Language-Image Pretraining
CABS 把「批采样」当作可在线定制的数据筛选手段：按目标概念分布动态组批（多样性最大化或频次最大化），可直接嵌入 CLIP 类对比学习训练循环，用于缓解长尾概念偏置，且无需额外模型过滤器。
CaptionFormer：面向时空目标的统一分割、跟踪与描述
CaptionFormer: Unified Segmentation, Tracking, and Captioning for Spatio-Temporal Objects
用现成 VLM 为视频中时空定位的实体自动生成描述，把 LVIS/LV-VIS 扩成带描述的预训练数据，再用一个端到端模型联合做检测、分割、跟踪与描述；对做视频-语言任务的人，这是一条用合成字幕绕开人工标注瓶颈的可复用数据构造与预训练路线。
CF-IPT：面向多源遥感数据分类的视觉语言预训练模型跨模态融合交互提示微调
CF-IPT: Cross-Modal Fusion Interactive Prompt Tuning of Vision-Language Pre-Trained Model for Multisource Remote Sensing Data Classification
把 CLIP 的提示学习从自然图像迁移到多源遥感：用光谱-空间提示矩阵引导视觉与文本分支的交互，仅训练 0.76% 参数即可完成多源图像分类，可作为跨模态提示微调在非自然图像域的可复用范式。
通过稀疏对齐与单模态记忆库弥合组合零样本学习中的模态间隙
Bridging the Modality Gap in Compositional Zero-Shot Learning via Sparse Alignment and Unimodal Memory Bank
针对 CLIP 图文模态间隙，用稀疏对齐把文本表征直接绑定到语义相关的视觉 patch，并用纯视觉记忆库做分类，这套思路可迁移到任何依赖 CLIP 对齐的零样本/开放词表视觉任务。
BabyVLM-V2：迈向具有发展依据的视觉基础模型预训练与基准评测
BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models
DevCV Toolbox 把 NIH Baby Toolbox 的视觉相关测查改造成十个多模态任务的基准，为「样本高效/发展式预训练」提供了可量化的评测协议；做数据高效预训练或小模型 VLM 的工作可以直接用它作为认知对齐的评测集，也可借鉴其纵向婴儿视听语料的构建方式来设计低资源预训练数据。
锚点引导的梯度对齐用于不完整多模态学习
Anchor-Guided Gradient Alignment for Incomplete Multimodal Learning
针对视觉语言预训练模型在模态缺失场景下的优化失衡问题，提出以检索重建样本与完整样本共同构成优化锚点来对齐梯度，并设计语义增强适配器生成动态提示；做多模态下游任务（如跨模态检索、VQA）时可直接复用该训练策略提升缺失模态鲁棒性。
面向视频-语言理解持续学习的可供性优先分解
Affordance-First Decomposition for Continual Learning in Video-Language Understanding
把视频映射到缓慢变化的 affordance token 作为共享时间对齐基底、只让轻量查询路由调度器做适配，这一「稳定基底 + 定向可塑」的拆分思路可直接迁移到视频-语言模型的持续学习与免回放增量训练中。