Tag · 33 篇
原型学习
面向鲁棒多模态语义分割的教师-学生框架与混合原型蒸馏
Towards Robust Multi-Modal Semantic Segmentation with Teacher-Student Framework and Hybrid Prototype Distillation
面向缺失模态的多模态语义分割,用反馈式自蒸馏让教师从非主导模态获得学生反馈,并用高层语义原型做跨模态蒸馏、用类内特征变化蒸馏保留模态特有细节,可直接迁移到任意多模态融合分割骨干上提升缺失模态鲁棒性。
抑制噪声导致的原型退化:面向隐私保护的个性化联邦微调
Taming Noise-Induced Prototype Degradation for Privacy-Preserving Personalized Federated Fine-Tuning
为视觉多域个性化联邦微调提供客户端隐私插件:按维度类别方差分配各向异性噪声、并用蒸馏引导裁剪正则化把特征范数压到裁剪阈值附近,可直接替换 ProtoPFL 中的各向同性高斯扰动以改善隐私-效用权衡。
TAPE:音频语言模型中任务自适应原型进化用于完全少样本类增量音频分类
TAPE: Task-Adaptive Prototype Evolution in Audio-Language Models for Fully Few-shot Class-incremental Audio Classification
论文提出的任务适配器(Task-Adapter)和原型进化机制可迁移到视觉中的少样本类增量学习场景,例如利用CLIP等视觉语言模型进行增量目标识别时,通过隔离特征空间和动态原型更新来缓解灾难性遗忘与过拟合。
TALON:面向在线类别发现的测试时自适应学习
TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery
把测试时自适应从「只调分类器」扩展到「同时更新语义原型与编码器参数」,为开放世界视觉任务中在线吸收新类别提供了可复用范式;其 margin-aware logit 校准思路也可迁移到任何需要为未来类别预留嵌入空间的长尾/增量识别场景。
看穿噪声:提升视线估计中的域泛化能力
See Through the Noise: Improving Domain Generalization in Gaze Estimation
针对视线估计中标签噪声损害域泛化的问题,提出基于原型变换构建语义嵌入空间、利用特征-标签亲和一致性区分噪声样本,并在语义流形上施加亲和正则化,为视觉任务中处理噪声标签提供可复用思路。
以生成器感知原型扩展AI生成图像检测
Scaling Up AI-Generated Image Detection with Generator-Aware Prototypes
用一组紧凑的"伪造原型"把真实/合成图像特征压到低方差统一空间,再用LoRA两阶段微调预训练编码器,可直接迁移到任何需要跨生成器泛化的取证或真伪判别任务。
修复跨域少样本目标检测中的目标域散光问题
Remedying Target-Domain Astigmatism for Cross-Domain Few-Shot Object Detection
针对跨域少样本目标检测中注意力分散的问题,提出中心-外周注意力精炼框架,利用类特定原型和文本语义对齐来重塑注意力,可复用于其他域适应检测任务。
使用带自突触的单个神经元重建脉冲神经网络
Reconstructing Spiking Neural Networks Using a Single Neuron with Autapses
用带时延自突触的单个LIF神经元通过时序复用实现储备池、MLP与卷积类脉冲架构,为视觉任务提供一种以时间延迟换取神经元数量与状态显存大幅下降的紧凑计算单元思路。
视觉-语言对齐辅助的原型动作推理用于第一视角动作预测
Prototypical Action Reasoning Facilitated by Vision-Language Alignment for Egocentric Action Anticipation
将无约束的时序预测转化为由视觉-语言模型学到的解耦动词/名词原型引导的条件预测,这一「语义锚点+原型检索」思路可迁移到其他高不确定性的时序预测任务(如轨迹预测、事件预测)。
面向多标签图像分类的基于原型的因果干预
Prototype-based Causal Intervention for Multi-Label Image Classification
用可学习的上下文原型在记忆库中动态建模混淆因子,仅凭图像级监督近似后门调整,为视觉分类中去除共现偏差提供了一个可复用的因果干预模块。
原型即提示:多模态情感原型赋予大语言模型执行多模态情感分析的能力
Prototype-as-Prompt: Multimodal Sentiment Prototypes Endowing Large Language Models the Capability to Perform Multimodal Sentiment Analysis
将视觉-音频特征压缩为可解释的多模态情感原型,并作为软提示注入LLM,为视觉-语言模型提供了一种参数高效且语义明确的条件控制方式,可复用于其他多模态理解任务。
ProOOD:原型引导的分布外3D占用预测
ProOOD: Prototype-Guided Out-of-Distribution 3D Occupancy Prediction
面向自动驾驶3D占用预测的免训练OOD打分(局部logit一致性与局部/全局原型匹配融合)与原型引导的尾部类挖掘,可直接迁移到其他密集预测任务的异常检测与长尾校准中。
PRISM:基于原型与跨模态语义挖掘的可解释图像识别推理框架
PRISM: Prototype-based Reasoning with Inter-modal Semantic Mining for Interpretable Image Recognition
把文本条件归因图与原型激活图对齐,可在无概念标注的情况下把 part prototype 锚定到语义区域,为可解释分类器提供一条可复用的跨模态原型学习与定位约束思路。
面向空间转录组学的多视图层次对齐学习
Multi-View Hierarchical Alignment Learning for Spatial Transcriptomics
论文提出的层次化对齐学习(样本级正样本对齐+原型级对比学习)可迁移到多视图视觉表征学习任务中,例如多模态图像聚类或跨视角特征融合,为视觉领域处理视图间不一致性和语义监督缺失提供了一种通用框架。
MonoSAOD:面向稀疏标注标签的单目3D目标检测
MonoSAOD: Monocular 3D Object Detection with Sparsely Annotated Label
针对稀疏标注场景,用道路感知的图像块粘贴增强保持3D几何一致性,并用原型相似度加深度不确定性过滤伪标签,可直接迁移到其他3D/2D检测器的半监督训练流程。
面向测试时自适应分割的原型混合专家
Mixture of Prototypes for Test-time Adaptive Segmentation
把类别原型聚类成多个域专家并用门控网络按实例-专家相关性加权,配合最小化预测熵、最大化专家选择熵的门控优化,可直接迁移到任何需要测试时自适应的分割或密集预测模型上。
MPL:面向少样本动作识别的匹配引导原型学习
MPL: Match-guided Prototype Learning for Few-shot Action Recognition
把匹配结果反向注入原型学习,并用关键帧级匹配细化原型,为少样本视频任务提供了一种「匹配-原型」联合优化的可复用范式;其跨样本注意力聚合器也可迁移到其他需要类内共享模式聚合的小样本视频设定。
基于未来感知解耦跨头蒸馏的增量目标检测
Incremental Object Detection via Future-Aware Decoupled Cross-Head Distillation
把检测头与骨干网络的训练解耦,并用两个冻结的互补教师对学生的 ROI 特征做跨头蒸馏,可直接迁移到任何需要缓解灾难性遗忘的增量检测/分割框架中。
面向持续测试时分割的双曲原型学习与不确定性感知一致性
Hyperbolic Prototype Learning with Uncertainty-Aware Consistency for Continual Test-Time Segmentation
把语义分割的特征空间从欧氏空间换到 Poincaré 球做原型学习,用双曲体积指数增长换取更大的类间间隔;配合按跨视角一致性把像素分成 core/boundary 两组、分别用测地距离最小化和双曲方向一致性损失约束,是可直接迁移到其他 CTTA/域偏移分割流程的即插即用模块。
FedDAP:域偏移下联邦学习的域感知原型学习
FedDAP: Domain-Aware Prototype Learning for Federated Learning under Domain Shift
在联邦场景下按域聚合类原型、并做同域拉近/异域推远的双对齐,可作为视觉模型跨域泛化时构造域感知类中心、替代单一全局原型的可复用手段。
FedCART:通过分类器精修应对联邦对抗训练中的长尾分布
FedCART: Tackling Long-Tailed Distributions in Federated Adversarial Training via Classifier Refinement
把模型解耦为共享特征提取器与双分类器,并用梯度类原型在服务端合成平衡虚拟特征重训辅助分类器,这一套「原型校准 + 虚拟特征重平衡」思路可直接迁移到视觉中的长尾分类与对抗鲁棒性联合优化场景。
FastRef:面向少样本工业异常检测的快速原型精炼
FastRef: Fast Prototype Refinement for Few-shot Industrial Anomaly Detection
把推理阶段的查询特征通过可优化传输矩阵做线性重构,并用最优传输约束抑制异常重构,这套「测试时原型精炼」思路可直接迁移到任何基于原型的少样本检测/分割流程中,无需重训练即可提升表征代表性。
以文本语义增强视觉表征:文本语义驱动的原型用于异构联邦学习
Enhancing Visual Representation with Textual Semantics: Textual Semantics-Powered Prototypes for Heterogeneous Federated Learning
用大语言模型生成的类文本描述经预训练语言模型编码成语义原型,再通过可训练提示与客户端图像特征对齐,为视觉表征学习提供了一种跨模态语义先验注入手段,可迁移到长尾/异构数据下的分类表征对齐。
双原型引导的多任务学习用于无监督异常检测与分类
Dual-Prototype-Guided Multi-task Learning for Unsupervised Anomaly Detection and Classification
对做工业/医学异常检测的人,这篇提供了用正常原型与类别原型做显式特征解耦、并用差分门控交互与几何正则缓解多任务梯度冲突的框架,可直接迁移到需要同时定位异常区域并判别异常类型的视觉检测系统。
DPL:解耦原型学习以增强视觉-语言 Transformer 对缺失模态的鲁棒性
DPL: Decoupled Prototype Learning for Enhancing Robustness of Vision-Language Transformers to Missing Modalities
对做多模态视觉-语言模型的人,DPL 提供了一种可插拔的预测头设计:按当前缺失模态情形选择类原型并分解为图像/文本分量,可直接替换现有提示词框架后的全连接检测头,用于提升图像缺失时的推理鲁棒性。
DDSF:基于解耦子空间与行列式点过程的鲁棒少样本学习
DDSF: Robust Few-Shot Learning via Disentangled Subspaces with Determinantal Point Process
用行列式点过程(DPP)的体量最大化来筛选样本、引导扩散增强并构造解耦子空间,可作为提升原型类方法在噪声与难正样本下稳定性的通用插件。
面向高效多模态异常检测的互补原型映射
Complementary Prototype Mapping for Efficient Multimodal Anomaly Detection
提出互补原型映射框架,通过共识原型和补充原型动态引导跨模态特征映射,解决无监督多模态异常检测中的映射歧义问题,可复用于工业质检和医学影像的缺陷定位任务。
细胞类型原型引导的神经网络用于病理图像基因表达估计
Cell-Type Prototype-Informed Neural Network for Gene Expression Estimation from Pathology Images
将单细胞RNA测序数据构建的细胞类型原型作为结构正则,引导从病理图像预测基因表达,为计算病理中的弱监督回归与可解释性提供了新思路。
自举你的音视频代理:面向音视频分割的自适应对比与原型学习
Bootstrap Your Own AV-Proxies: Adaptive Contrastive and Prototype Learning for Audio-Visual Segmentation
论文提出的自监督音频增强模块通过对比学习对齐音频与梯度阻断的视觉嵌入,以及动态原型约束模块利用动量更新原型增强像素级类别感知,这两者均可作为跨模态对齐与分割的通用技术手段,尤其适用于需要抑制融合噪声的多模态分割任务。
BiomedCCPL:面向生物医学视觉语言模型的因果条件提示词学习
BiomedCCPL: Causal Conditional Prompt Learning for Biomedical Vision-Language Models
用因果前门调整约束图像条件提示词的生成,使提示词只依赖跨类共享的诊断性视觉特征,这一思路可直接迁移到任何 VLM 的 base-to-novel 泛化场景,用来抑制已见类中的虚假线索。
超越静态世界:视觉漂移下的持续类别发现
Beyond the Static World: Continual Category Discovery under Visual Drift
把部分非平衡最优传输与二值响应谱量化结合,用于无标签流式数据中已知/未知类别的自动分离;其跨域语义对齐(对抗式原型匹配)与类别拓扑一致性约束可直接迁移到开放世界识别、测试时自适应等视觉场景。
超越文本:面向基于 CLIP 的弱监督语义分割的概率模型视觉描述组装
Beyond Text: Visual Description Assembly by Probabilistic Model for CLIP-based Weakly Supervised Semantic Segmentation
用概率模型把 CLIP 视觉特征映射到结构化潜空间、动态组装实例级视觉描述原型来替代静态文本原型查询,可直接迁移到任何依赖 CLIP 文本-图像对齐生成 CAM 的弱监督定位任务。
超语义空间中面向即时类别发现的分配驱动哈希学习
Assignment-Driven Hash Learning in a Hyper-Semantic Space for On-the-Fly Category Discovery
把「超语义空间」的双几何子空间(父原型派生增强 + 跨原型插值校准)与灵活原型分配、二值哈希正则化结合,可作为即插即用模块嵌入现有开放世界/流式类别发现流程,缓解已知类对新类的空间垄断与特征到哈希的级联退化。