Tag · 31 篇
最优传输
视觉语言模型引导的最优传输无源域自适应
Vision-Language Model Guided Source-Free Domain Adaptation via Optimal Transport
用预训练 VLM 的语义先验替代不可靠伪标签来构造目标特征与源原型的 OT 匹配,并配合模型↔VLM 双向蒸馏交替训练,可作为无源域自适应、测试时无标签迁移场景下替代伪标签自训练的通用范式。
VDOT:通过最优传输蒸馏实现高效统一视频创作
VDOT: Efficient Unified Video Creation via Optimal Transport Distillation
将最优传输距离引入分布匹配蒸馏,替代KL散度以缓解少步生成中的梯度崩溃问题,为扩散模型加速提供可复用的训练目标设计。
面向视频与时间序列的因果最优传输不确定性感知无监督域自适应
Towards Uncertainty-aware Unsupervised Domain Adaptation for Videos and Time-Series with Causal Optimal Transport
将因果图正则化嵌入最优传输对齐过程,为视频域自适应提供了一种同时对齐特征分布与因果结构的可复用框架,其基于熵与结构一致性的伪标签筛选策略可直接用于提升自训练稳定性。
基于局部与全局上下文优化的词元缩减:面向高效视频大语言模型
Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models
面向视频大语言模型的免训练词元压缩:用注意力引导的帧内/帧间锚点加最优传输,把被剪词元的信息聚合进锚点,可直接套用到任何视频 LLM 的视觉编码器与 LLM 之间,降低视觉词元数而不丢时序细节。
TRANSPORTER:从 VLM 流形迁移视觉语义
TRANSPORTER: Transferring Visual Semantics from VLM Manifolds
把 VLM 的 logit 分数通过最优传输耦合映射到 T2V 模型的语义嵌入空间,用生成视频作为解释载体——做 VLM 可解释性或探针研究时,可复用这套「logit→嵌入方向→条件生成」的流程来可视化模型内部语义。
基于最优传输的子模型提取实现高效个性化联邦学习
Submodel Extraction for Efficient and Personalized Federated Learning via Optimal Transport
提出基于最优传输的服务器端个性化剪枝框架,可在不访问原始数据的情况下为异构客户端生成定制子模型,并利用自适应正则化缓解参数发散,为视觉模型在边缘设备上的高效个性化部署提供可复用方案。
Shape-of-You:融合 Gromov-Wasserstein 最优传输用于野外语义对应
Shape-of-You: Fused Gromov-Wasserstein Optimal Transport for Semantic Correspondence in-the-Wild
将伪标签生成建模为融合 Gromov-Wasserstein 最优传输问题,并利用 3D 基础模型提供几何结构约束,为无监督语义对应提供了一种可复用的结构化监督信号生成思路。
STiTch:协同语义过渡与传输的免训练零样本组合图像检索
STiTch: Semantic Transition and Transportation in Collaboration for Training-Free Zero-Shot Composed Image Retrieval
把检索从点对点匹配改成基于最优传输的集合到集合对齐,并用嵌入空间中的过渡向量修正 LLM 生成的描述,这两点可直接迁移到任何图文检索或跨模态匹配任务中。
SPEGC:通过语义提示增强图聚类实现医学图像分割的持续测试时自适应
SPEGC: Continual Test-Time Adaptation via Semantic-Prompt-Enhanced Graph Clustering for Medical Image Segmentation
针对医学图像分割中的持续测试时自适应,提出语义提示增强与可微图聚类求解器,将全局边稀疏化建模为最优传输问题,为无监督域适应提供更可靠的伪标签结构引导,可复用于其他密集预测任务的测试时自适应。
SOTA:面向多基础模型零样本分类的自适应最优传输
SOTA: Self-adaptive Optimal Transport for Zero-Shot Classification with Multiple Foundation Models
提出一种免训练的自适应最优传输集成框架,可即插即用地融合多个视觉或视觉语言基础模型的输出,提升零样本分类性能,为多模型集成提供新思路。
配额校准的细粒度对齐与上下文感知边缘分布用于文本行人检索
Quota-Calibrated Fine-Grained Alignment with Context-Aware Marginals for Text-based Person Retrieval
QC-Align 提出一种无需参数、即插即用的训练正则化器,通过上下文感知的边缘分布估计和配额校准的最优传输目标,显式约束文本词与视觉区域之间的多对多匹配质量,可被复用于任何需要细粒度跨模态对齐的视觉-语言任务(如跨模态检索、图文匹配),尤其在少样本和跨域场景下提升基线性能与可解释性。
渐进式跨模态因果干预用于长时动作识别
Progressive Cross-Modal Causal Intervention for Long-Term Action Recognition
将因果推断中的前门调整和反事实干预引入视觉语言模型,用于去除长时动作识别中的视觉混淆和动作共现幻觉,为视频理解中的跨模态对齐提供可复用的去偏框架。
通过双向多视图提示词对齐实现噪声感知少样本学习
Noise-Aware Few-Shot Learning through Bi-directional Multi-View Prompt Alignment
把提示词微调从全局图文匹配推进到区域级 patch-to-prompt 对齐,并用非平衡最优传输抑制不可靠区域,为视觉语言模型在噪声监督下的少样本适配提供了可复用的对齐与样本筛选机制。
面向深度不完整多视图聚类的失衡视图贡献评估与精炼
Imbalanced View Contribution Evaluation and Refinement for Deep Incomplete Multi-View Clustering
用 Shapley 值量化各视图的边际贡献、并用非平衡最优传输刻画视图间分布偏移,这套「贡献评估+协作增强」的思路可迁移到多模态/多视图特征融合与缺失模态鲁棒表征学习中,帮助识别并抑制主导模态对融合的压制。
HFedATM:基于最优传输与正则化均值聚合的分层联邦域泛化
HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation
Filter-wise 最优传输对齐 + 收缩正则均值聚合,可作为跨客户端/跨站点模型参数融合的通用手段,用于视觉模型在非独立同分布数据上的域泛化;其分层聚合思路可迁移到多源视觉数据(如多医院影像、多摄像头场景)的分布式训练。
频率感知亲和力用于弱监督语义分割
Frequency-Aware Affinity for Weakly Supervised Semantic Segmentation
利用频域分解(低频语义对齐、高频边界修正)生成更完整的亲和力矩阵,并通过最优传输直接生成高质量 CAM,可复用于其他弱监督定位任务(如弱监督目标检测、点监督分割)。
FedMPT:视觉语言模型的联邦多标签提示微调
FedMPT: Federated Multi-Label Prompt Tuning of Vision-Language Models
在联邦场景下对 VLM 做多标签提示微调时,用 LLM 生成的条件提示与图像 patch 做最优传输来挖掘区域级语义,并用门控融合多条件预测,可缓解客户端异构数据导致的虚假标签共现过拟合;这套「条件提示 + 区域对齐」思路可迁移到其他需要细粒度多标签或开放词表的 VLM 适配任务。
FastRef:面向少样本工业异常检测的快速原型精炼
FastRef: Fast Prototype Refinement for Few-shot Industrial Anomaly Detection
把推理阶段的查询特征通过可优化传输矩阵做线性重构,并用最优传输约束抑制异常重构,这套「测试时原型精炼」思路可直接迁移到任何基于原型的少样本检测/分割流程中,无需重训练即可提升表征代表性。
擦除数千个概念:面向文本到图像扩散模型的可扩展且实用的概念擦除
Erasing Thousands of Concepts: Towards Scalable and Practical Concept Erasure for Text-to-Image Diffusion Models
提出基于t分布混合模型和最优传输的概念擦除框架,可精确定位并擦除文本嵌入中的目标概念,同时保持其他概念生成质量,为扩散模型的安全可控生成提供可扩展方案。
DMGD:扩散模型中基于语义-分布匹配的无训练数据集蒸馏
DMGD: Train-Free Dataset Distillation with Semantic-Distribution Matching in Diffusion Models
用条件似然优化替代辅助分类器实现语义匹配,并以最优传输做分布匹配,为扩散模型中的无训练引导提供可复用方案;其分布近似匹配与贪心渐进匹配策略可迁移到任何需要低成本分布对齐的生成流程。
ConeSep:面向组合图像检索的基于锥体的鲁棒噪声遗忘组合网络
ConeSep: Cone-based Robust Noise-Unlearning Compositional Network for Composed Image Retrieval
针对组合图像检索中三元组标注噪声(尤其是参考图与目标图高度相似但修改文本错误的“硬噪声”)提出噪声边界估计与定向遗忘机制,可复用于任何依赖图文三元组监督的检索/对齐训练流程,用于清洗错误对应关系。
CogniVerse:以认知反思与几何推理革新多模态检索增强生成
CogniVerse: Revolutionizing Multi-Modal Retrieval-Augmented Generation with Cognitive Reflection and Geometric Reasoning
为视觉语言模型的知识密集型问答提供了一种基于黎曼流形对齐和谱图优化的多模态检索增强生成框架,其认知反思模块可动态判断检索必要性,对构建高效可靠的视觉问答系统有直接参考价值。
ChordEdit:面向图像编辑的单步低能量传输
ChordEdit: One-Step Low-Energy Transport for Image Editing
把文本引导编辑重构成源/目标提示分布之间的动态最优传输问题,得到低能量、方差缩减的平滑编辑场,使单步大积分即可完成编辑;对做单步 T2I 模型(如单步扩散/流匹配)上做免训练编辑的人,这是一个可直接复用的控制场构造思路。
COT-FM:簇级最优传输流匹配
COT-FM: Cluster-wise Optimal Transport Flow Matching
把目标样本聚类并为每个簇反演一个专属源分布,从而拉直流匹配的向量场——这是一个与模型架构无关的即插即用模块,可直接套到已有的图像生成/编辑流匹配模型上以减少采样步数、提升样本质量。
COG:面向无监督单参考新物体姿态估计的置信度感知最优几何对应
COG: Confidence-aware Optimal Geometric Correspondence for Unsupervised Single-reference Novel Object Pose Estimation
把跨视角对应从不可微的一对一硬匹配换成带逐点置信度的最优传输软匹配,并用视觉基础模型的语义先验做正则,这套「置信度作为 OT 边缘分布」的做法可直接迁移到任何需要鲁棒特征匹配的位姿/配准任务。
绕过传输计划:基于最优传输动态重加权的分布外检测
Bypassing the Transport Plan: Dynamic Reweighting for Out-of-Distribution Detection with Optimal Transport
把 OOD 检测建模为半不平衡最优传输,并利用源分布权重的动态重加权直接得到伪 OOD 分数,绕开求解传输计划;做开放集半监督训练或需要无标签 OOD 打分时可直接复用这一打分模块。
基于bulk RNA-seq引导的多模态空间转录组学检测人类癌症异常区域
Bulk RNA-seq Guided Multi-modal Detection of Anomalous Regions in Human Cancer via Spatial Transcriptomics
将病理图像与空间转录组数据通过最优传输对齐基因模块,为多模态医学图像分析提供了一种跨模态对齐与融合的通用思路,可借鉴到其他需要整合组学与影像的任务中。
BiOTPrompt:双向最优传输引导的疾病演化感知放射报告生成
BiOTPrompt: Bidirectional Optimal Transport Guided Prompting for Disease Evolution-aware Radiology Report Generation
用双向最优传输计划的不对称性来定位新出现与已消退病灶,这一思路可迁移到任何需要比较两期影像差异的视觉任务(如变化检测、随访影像分析);同时其视觉-语言一致性约束为缓解多模态生成中的幻觉提供了可复用的正则手段。
超越静态世界:视觉漂移下的持续类别发现
Beyond the Static World: Continual Category Discovery under Visual Drift
把部分非平衡最优传输与二值响应谱量化结合,用于无标签流式数据中已知/未知类别的自动分离;其跨域语义对齐(对抗式原型匹配)与类别拓扑一致性约束可直接迁移到开放世界识别、测试时自适应等视觉场景。
一种最优传输驱动的在线增量学习潜空间培育方法
An Optimal Transport-driven Approach for Cultivating Latent Space in Online Incremental Learning
把最优传输驱动的在线混合模型用于潜空间中类别中心的增量演化,替代单一或固定多中心表示,可直接迁移到视觉模型的类增量/在线持续学习场景,缓解多模态数据流下的灾难性遗忘。
A2GC:面向局部聚合描述子的几何约束非对称聚合
A2GC: Asymmetric Aggregation with Geometric Constraints for Locally Aggregated Descriptors
把 Sinkhorn 的对称边缘约束改成行列归一化加独立边缘校准的非对称匹配,并用可学习坐标嵌入把空间邻近性注入特征-聚类兼容度;做图像检索/位置识别的人可以直接把这套聚合头替换到现有 VPR 骨干后面。