Tag · 8 篇

提示词优化

分布 生成模型与扩散2图像分割2视觉语言模型1图像编辑与可控生成1高效模型与推理加速1数据集与评测1
01
生成模型与扩散 / CVPR2026

VISTA:一种测试时自改进的视频生成智能体

VISTA: A Test-Time Self-Improving Video Generation Agent

把视频生成的质量提升从改模型转到改提示词:用多智能体在测试时迭代重写提示词,并用成对锦标赛选出最优样本,这套「生成—评估—反思—重写」的闭环可直接套用到任何黑盒视频或图像生成器上做免训练增强。

多智能体系统提示词优化测试时优化
02
视觉语言模型 / CVPR2026

SPOT:面向运动稳定 MLLM 引导视频分割的时空提示词优化

SPOT: Spatiotemporal Prompt Optimization for Motion-Stabilized MLLM-Guided Video Segmentation

提出一种仅通过约束 MLLM 输出行为(布朗桥损失和几何感知提示词质量损失)来提升视频分割时序一致性的方法,无需视频预训练或架构修改,为利用静态图像训练的视觉基础模型处理动态视频任务提供了可复用的正则化思路。

视频分割多模态大语言模型提示词优化
03
图像编辑与可控生成 / CVPR2026

PromptLoop:基于潜变量反馈的即插即用提示词精炼框架,用于扩散模型对齐

PromptLoop: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment

把提示词精炼做成逐步闭环的 RL 策略:用 MLLM 读取扩散模型中间潜变量并逐步改写提示词,从而在不改权重的前提下实现奖励对齐,可直接迁移到文生图/编辑的偏好优化与少步采样场景。

提示词优化强化学习微调多模态大语言模型
04
图像分割 / CVPR2026

PR-MaGIC:通过掩码解码器梯度流进行提示词精炼的上下文分割

PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation

提出一种无需训练的测试时提示词精炼框架,利用 SAM 掩码解码器的梯度流优化提示词,可无缝集成到现有上下文分割方法中,提升分割质量。

测试时自适应提示词优化上下文分割
05
高效模型与推理加速 / CVPR2026

FOZO:面向测试时自适应的纯前向零阶提示词优化

FOZO: Forward-Only Zeroth-Order Prompt Optimization for Test-Time Adaptation

提供了一种无需反向传播、仅靠前向计算与零阶梯度估计即可在测试时优化提示词的方案,可直接用于低端设备或 INT8 量化模型上的在线域适应,避免修改模型权重。

测试时自适应零阶优化提示词优化
06
生成模型与扩散 / CVPR2026

扩散探针:使用 CNN 探针预测生成图像结果

Diffusion Probe: Generated Image Result Prediction Using CNN Probes

利用扩散模型早期去噪步骤的交叉注意力图统计特征,训练轻量级 CNN 探针预测最终图像质量,可用于提示词优化、种子选择与加速 RL 训练等需要早期质量引导的 T2I 工作流。

交叉注意力扩散模型质量评估
07
数据集与评测 / CVPR2026

CopyLens:通过版权感知提示词学习实现受版权保护角色的侵权检测

COPYLENS: Towards Copyrighted Characters Infringement Detection via Copyright-Aware Prompt Learning

把 LVLM 检测器与 LLM 元提示闭环结合,用人类标注一致性作为反馈信号自动优化检测提示词,这一「提示词自动搜索 + 人类判断对齐」的范式可迁移到任何需要与人类主观判断对齐的视觉判别任务(如审美、安全、真实性评估)。

提示词优化视觉语言模型版权侵权检测
08
图像分割 / CVPR2026

以攻为守:赋能分割一切模型的点提示优化对抗智能体

Attack for Defense: Adversarial Agents for Point Prompt Optimization Empowering Segment Anything Model

把点提示词的选择建模为双空间图上的强化学习博弈,用攻击者-防御者范式自动精化粗提示集,可直接套用到 SAM 类分割模型的提示词工程与鲁棒性提升上。

提示词优化对抗强化学习深度Q网络