Tag · 26 篇
提示词学习
解锁手术器械增量学习中的正迁移：自反思层级提示词框架
Unlocking Positive Transfer in Incrementally Learning Surgical Instruments: A Self-reflection Hierarchical Prompt Framework
在冻结的预训练骨干上，用层级提示词树组织类别知识，并通过有向加权图传播做自反思式知识精炼，为视觉中的类增量分割提供了一种可复用的正迁移机制，可直接迁移到其他增量分割或增量检测设定。
面向可泛化AI生成图像检测的图像自适应提示词学习
Towards Generalizable AI-Generated Image Detection via Image-Adaptive Prompt Learning
把提示词从训练后固定改为按测试图像动态生成，并用单样本多视图预测一致性在推理时优化自适应 token，为视觉基础模型在分布外伪造图像上的泛化提供了一套可复用的测试时自适应提示词方案。
适配的盲区：量化与缓解微调驾驶模型中的遗忘
The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models
把适配从权重空间搬到提示词空间、按场景线索动态路由到不同知识专家的做法，为视觉研究者提供了一种在微调下游任务时保住预训练世界知识的可复用范式，尤其适合 VLM 迁移到驾驶等专用域的场景。
面向开放词表遥感图像分割的测试时多提示词自适应
Test-Time Multi-Prompt Adaptation for Open-Vocabulary Remote Sensing Image Segmentation
提出一种即插即用的测试时多提示词自适应方法，利用大语言模型生成上下文感知的类别描述，并通过视觉引导的测试时自适应策略和熵最小化像素级损失优化提示词表示，可灵活集成到现有开放词表分割方法中提升性能。
SkeletonContext：面向零样本骨架动作识别的骨架侧上下文提示词学习
SkeletonContext: Skeleton-side Context Prompt Learning for Zero-Shot Skeleton-based Action Recognition
将大语言模型生成的上下文语义通过提示词学习注入骨架编码器，为骨骼动作识别提供实例级语义定位，可迁移到其他需要跨模态对齐的时序动作理解任务。
面向少样本类增量学习的语义引导全局-局部协同提示词学习
Semantic-Guided Global-Local Collaborative Prompt Learning for Few-Shot Class Incremental Learning
利用冻结的视觉语言模型原型与 LLM 生成的语义描述做全局-局部双对齐提示词学习，为视觉研究者提供了一种在少样本增量场景下抑制灾难性遗忘与过拟合的可复用范式，可直接迁移到开放词表识别与持续学习式视觉分类。
兼顾双向：面向开放词表伪装目标分割的双向语义对齐
Seeing Both Sides: Towards Bidirectional Semantic Alignment for Open-Vocabulary Camouflaged Object Segmentation
提出双向跨注意力实现视觉-文本特征互校准，并将精炼后的文本嵌入转为自适应提示词驱动 SAM 生成掩码，可直接用于开放词表分割与跨模态提示学习。
STAR：测试时自适应可增强视觉语言模型的通用提示词学习
STAR: Test-Time Adaptation Can Enhance Universal Prompt Learning for Vision-Language Models
提出基于Fisher分数的可分离性感知门控与共轭优化，结合动态记忆库的原型检索来校准OOD检测，为视觉语言模型在无标签且含OOD样本的目标域上进行测试时提示词学习提供了可靠伪标签生成与偏差缓解的通用技术方案。
SOUPLE：以可学习提示词上下文增强音视频定位与分割
SOUPLE: Enhancing Audio-Visual Localization and Segmentation with Learnable Prompt Contexts
用可学习的上下文词元替代 CLIP 中固定的文本提示词，并把视觉特征注入其中生成条件上下文，为视觉侧提供了一种可复用的提示词调优范式，可直接迁移到开放词表检测、指代分割等需要文本-视觉对齐的任务。
从量化残差到连续提示词：面向视觉语言模型少样本类增量学习
Quantized Residuals to Continuous Prompts for Few-Shot Class Incremental Learning in Vision-Language Models
把 VLM 图文特征的残差当作补充细粒度线索的载体，并用离散码本量化残差子空间、再由分层提示词编码器解码成连续类自适应提示词，这套「残差量化→连续提示词」的接口可直接迁移到其他需要稳定+可塑的 VLM 增量适配场景。
保护以适配：面向少样本动作识别的正交子空间控制与排序负提示词课程
Protect to Adapt: Orthogonal Subspace Control with Ranked Negative-Prompt Curriculum for Few-Shot Action Recognition
OSC 把低秩更新约束在预训练骨干网络主语义子空间的正交补上，这一做法可直接迁移到任何 VLM 微调场景（如少样本图像分类、视频检索），在适配下游任务的同时抑制灾难性遗忘；RNC 用大语言模型生成按难度排序的负提示词，为少样本 episode 中负样本不足、决策边界模糊的问题提供了一种可复用的数据构造思路。
提示词锚定的视觉-文本蒸馏用于终身行人重识别
Prompt-Anchored Vision-Text Distillation for Lifelong Person Re-identification
将预训练视觉-语言模型中冻结的文本编码器作为跨域语义锚点，通过提示词蒸馏与自适应提示池实现无样本回放的终身行人重识别，为视觉领域的持续学习提供了一种利用辅助模态稳定语义的通用思路。
面向统一图像美学与质量评估的概率提示词适配
Probabilistic Prompt Adaptation for Unified Image Aesthetics and Quality Assessment
把「提示词选择」建模为对 LLM 预采样提示词集合的混合分布并做边缘化，使视觉语言模型能在只有 (任务, 图像, 分数) 三元组、无标注的情况下适配任意文本提示词；做文本条件评分或提示词敏感任务时可复用这一概率化提示词适配思路。
面向开放词表目标检测增强的参数高效语义增强方法
Parameter-Efficient Semantic Augmentation for Enhancing Open-Vocabulary Object Detection
用图像特征金字塔构建多尺度提示词库，为开放词表检测器注入细粒度局部语义，并用语义感知路由器在推理时动态选择增强策略，避免微调破坏预训练泛化性——这套「冻结主干+提示词增强」思路可直接迁移到任何需要跨域迁移的视觉-语言检测或分割模型。
基于半监督率失真的多模态表征学习用于广义类别发现
Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery
把率失真（rate reduction）目标从单模态扩展到多模态半监督场景，用模态内对齐约束表征的紧凑性与结构性，可作为开放集识别、新类发现类视觉任务中替代纯对比学习的表征学习目标。
参数隔离对基于提示词的持续学习更有效吗？
Is Parameter Isolation Better for Prompt-Based Continual Learning?
把「每任务一组提示词」的静态隔离换成全局提示词池 + 任务感知门控稀疏路由，可直接迁移到视觉持续学习（如类增量图像分类、VLM 持续适配）中，用激活统计做正则来抑制常用提示词被过度更新。
用于医学视觉语言模型交叉公平性的双曲关系提示词
Hyperbolic Relational Prompts for Intersectional Fairness in Medical VLMs
把提示词生成建模为在双曲空间中基于样本级关系图的推理过程，为视觉语言模型提供了一种可复用的条件化手段，可用于处理交叉属性组合（如种族×性别）下的细粒度偏差；做提示词微调或多属性可控生成时，可借鉴其双曲图层的层级建模思路。
从吸引到平衡：面向零样本异常检测的物理启发式语义引力子
From Attraction to Equilibrium: Physics-Inspired Semantic Gravitons for Zero-Shot Anomaly Detection
把 CLIP 的视觉-文本对齐建模为可学习的「语义引力子」中介，用交替耦合与能量势正则稳定跨模态对应，可直接迁移到需要精确定位的零样本/开放词表视觉任务（异常检测、缺陷分割、开放词表定位）。
基于提示驱动噪声表示学习的扩散式 sRGB 真实噪声生成
Diffusion-Based sRGB Real Noise Generation via Prompt-Driven Noise Representation Learning
用扩散模型从输入噪声中学习高维提示词特征来合成真实噪声图像，摆脱对相机元数据的依赖，可直接作为真实去噪训练数据的增广手段，缓解 sRGB 域真实噪声配对数据稀缺问题。
DeAR：通过分解注意力头角色实现细粒度 VLM 适配
DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles
把 VLM 适配的粒度从「层」下沉到「注意力头」，用 Concept Entropy 给每个头打上属性/泛化/混合的角色标签，再用 Role-Based Attention Mask 隔离任务知识与泛化能力——做提示词学习或参数高效微调时，可直接复用这套头级角色划分与掩码控制信息流的思路，缓解适配与零样本泛化的权衡。
测试时的可控联邦提示词学习
Controllable Federated Prompt Learning at Test Time
对做 CLIP 类视觉语言模型落地的人来说，这篇给出了一个测试时无需标签、仅靠置信度与模型-数据对齐指标动态加权全局/个性化/冻结三种提示词的方案，可直接迁移到跨域部署时的提示词自适应。
COPE：面向遮挡行人重识别的一致遮挡与提示词增强网络
COPE: Consistent Occlusion and Prompt Enhancement Network for Occluded Person Re-identification
针对遮挡行人重识别，CICO 在不同身份上施加相同遮挡并拉近同一遮挡区域的特征，PBF 用视觉-语言对齐生成前景热图做随机背景填充，PSS 用提示词引导的可靠性分数修正检索相似度——这套「一致遮挡 + 提示词可靠性打分」思路可直接迁移到其他存在遮挡或背景干扰的检索/匹配任务。
BiomedCCPL：面向生物医学视觉语言模型的因果条件提示词学习
BiomedCCPL: Causal Conditional Prompt Learning for Biomedical Vision-Language Models
用因果前门调整约束图像条件提示词的生成，使提示词只依赖跨类共享的诊断性视觉特征，这一思路可直接迁移到任何 VLM 的 base-to-novel 泛化场景，用来抑制已见类中的虚假线索。
BiProLoRA：面向真实场景复原的双层提示低秩适配
BiProLoRA: Bilevel Prompt LoRA for Real Scene Recovery
把预训练生成模型通过双层优化（超参数优化）联合调 LoRA 与提示词，并用自监督分布保真校准自编码通路，可直接迁移到去雨/去雾/低光照等真实退化复原任务中做合成到真实的适配。
超越提示词退化：原型引导的双池提示词增量目标检测
Beyond Prompt Degradation: Prototype-guided Dual-pool Prompting for Incremental Object Detection
提出双池提示词解耦范式（共享池+私有池）与原型伪标签生成模块，可复用于任何基于提示词的增量目标检测器，缓解提示词耦合与漂移问题。
回归源头：通过域补偿实现开放集持续测试时自适应
Back to Source: Open-Set Continual Test-Time Adaptation via Domain Compensation
把「域补偿提示词」作为可复用手段：仅用疑似 ID 样本对齐源域特征统计（一阶/二阶矩）来学习提示词，再传播到同批次 OOD 样本上，从而在持续变化的域中同时稳住分类与 OOD 检测；做测试时自适应或开放集部署时可直接借用这套样本拆分+提示词传播的闭环。