Tag · 11 篇

提示词工程

分布 图像分割5视觉语言模型3医学影像与生物视觉2图像编辑与可控生成1
01
图像分割 / CVPR2026

V^2-SAM:将 SAM2 与多提示词专家结合用于跨视角目标对应

V^2-SAM: Marrying SAM2 with Multi-Prompt Experts for Cross-View Object Correspondence

把 SAM2 从单视角分割迁移到跨视角对应,关键手段是两类提示生成器:基于 DINOv3 特征的坐标式锚框提示(首次让 SAM2 支持跨视角坐标提示)与特征/结构双重对齐的视觉提示匹配器,并用循环一致性做专家选择,可直接复用到 ego-exo 分割、跨视角跟踪等需要把基础分割模型扩展到多视角设定的场景。

提示词工程跨视角对应多专家集成
02
图像分割 / CVPR2026

基于细粒度对象绑定与自适应混合提示词的训练无关开放词表伪装目标分割

Training-Free Open-Vocabulary Camouflaged Object Segmentation via Fine-Grained Object Binding and Adaptive Hybrid Prompt

提出训练无关的开放词表伪装目标分割框架,利用MLLM生成细粒度文本描述,并通过语义探针和语义一致性排序实现视觉块与类别的精确绑定,结合熵引导的文本嵌入调整和自适应混合提示词生成,为SAM提供更准确的提示,可复用于其他开放词表分割任务。

开放词表分割训练无关方法多模态大语言模型
03
医学影像与生物视觉 / CVPR2026

SegMoTE:面向医学图像分割的 token 级混合专家

SegMoTE: Token-Level Mixture of Experts for Medical Image Segmentation

把 SAM 类通用分割基础模型迁移到医学影像时,可用 token 级混合专家加少量可学习参数实现模态/解剖自适应,并用渐进式提示词 token 化实现全自动分割,为低标注成本下的基础模型领域适配提供可复用范式。

参数高效微调提示词工程混合专家
04
图像分割 / CVPR2026

ReSAM:精炼、重查询与强化——面向遥感图像的自提示词点监督分割

ReSAM: Refine, Requery, and Reinforce: Self-Prompting Point-Supervised Segmentation for Remote Sensing Images

把 SAM 的交互式提示词从人工输入改为自生成循环(点→伪掩码→自构框提示词→重查询),并用软语义对齐约束嵌入,这套自提示词自训练流程可直接迁移到任何缺乏密集标注的专业成像域分割任务。

点监督分割SAM-适配伪标签自训练
05
图像分割 / CVPR2026

PromptMoE:利用混合专家改进提示的分割细化框架

PromptMoE: A Segmentation Refinement Framework Leveraging Mixture of Experts for Improved Prompting

把 MoE 与动态专家选择引入提示词生成环节,用图像+粗掩码预测专家得分图并自适应放置点提示词,可作为即插即用的分割细化模块,替换 CascadePSP/SegRefiner 类固定提示规则,对医学、质检等边界敏感场景的掩码后处理有直接复用价值。

混合专家提示词工程分割细化
06
医学影像与生物视觉 / CVPR2026

PETAR:面向 PET 自动报告的掩码感知视觉语言建模与局部化发现生成

PETAR: Localized Findings Generation with Mask-Aware Vision-Language Modeling for PET Automated Reporting

把 3D 病灶分割掩码作为显式空间条件注入视觉语言模型,并用 3D focal prompt 聚焦占体积极小(<0.1%)的病灶,这一「掩码感知 + 局部提示」思路可迁移到任何需要空间定位依据的医学或细粒度视觉语言生成任务。

医学报告生成视觉语言模型三维分割掩码
07
视觉语言模型 / CVPR2026

语言驱动的细粒度检索

Language-driven Fine-grained Retrieval

用 LLM 把类别名扩写成属性描述、再用冻结 VLM 对齐并聚类成数据集级属性词表,从而把 one-hot 标签换成语言原型监督——这套「语言原型监督」流程可直接迁移到细粒度分类、开放词表检索、组合零样本等需要跨类别细节可比性的视觉任务。

视觉语言模型细粒度图像检索属性级监督
08
图像分割 / CVPR2026

聚焦背景:以背景为中心的提示词探索 SAM 在少样本医学图像分割中的潜力

Focus on Background: Exploring SAM's Potential in Few-shot Medical Image Segmentation with Background-centric Prompting

把 SAM 的少样本分割重新表述为「提示词定位」任务,用类别无关的背景提示约束 SAM 的过分割;这一思路可迁移到任何需要抑制 SAM 过度分割的开放词表/少样本分割场景。

少样本分割提示词工程医学图像分割
09
视觉语言模型 / CVPR2026

超越启发式提示词:面向零样本图像识别的概念引导贝叶斯框架

Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition

把类别概念当作潜变量、用贝叶斯边缘化替代启发式提示词集成,并配一个无需训练的自适应软裁剪似然来压制离群概念——这套思路可直接迁移到 CLIP 类模型的零样本/少样本识别与开放词表分类中,替代手工 prompt 模板搜索。

提示词工程贝叶斯推断概念合成
10
图像编辑与可控生成 / CVPR2026

自适应辅助提示词混合用于目标忠实的扩散生成

Adaptive Auxiliary Prompt Blending for Target-Faithful Diffusion Generation

提出一种基于Tweedie恒等式的免训练自适应提示词混合框架,通过闭式系数在扩散每一步平衡辅助锚框提示词与目标提示词的影响,可直接用于提升罕见概念生成和图像编辑的忠实度。

扩散模型提示词工程免训练方法
11
视觉语言模型 / CVPR2026

ADSeeker:面向工业异常检测与推理的知识驱动推理框架

ADSeeker: A Knowledge-Grounded Reasoning Framework for Industry Anomaly Detection and Reasoning

把 MLLM 与图像-文档知识库的检索增强生成(Q2K RAG)结合,用于零样本工业异常检测与推理;其分层稀疏提示词与类型级特征提取思路可迁移到其他需要细粒度缺陷/异常描述的视觉-语言任务。

检索增强生成零样本异常检测多模态大语言模型