图像编辑与可控生成 · CVPR2026 ·2026.06.03

RewardFlow:通过优化你所奖励的目标来生成图像

RewardFlow: Generate Images by Optimizing What You Reward

Onkar Susladkar、Dong-Hwan Jang、Tushar Prakash、Adheesh Juvekar、Vedant Shah、Ayush Barik 等 10 人

与你有关的部分

把可微奖励(VQA 语义奖励 + SAM 定位奖励)作为推理时的引导信号注入预训练扩散/流匹配模型,并用提示感知的自适应策略调节更新步长,为免训练可控编辑提供了一个可插拔的奖励设计范式。

原文依据 We steer pretrained diffusion and flow-matching models at inference time using a diverse set of differentiable rewards
可迁移到 文本引导图像编辑组合式图像生成可控生成

摘要译文

由模型翻译 · 术语统一 · 请对照原文核对关键结论

RewardFlow 是一个零样本、免训练框架,基于奖励引导的朗之万动力学实现文本引导的图像编辑与生成。我们在推理阶段用一组多样化的可微奖励来引导预训练的扩散模型与流匹配模型,并通过一个提示感知的自适应策略控制这些奖励的影响,该策略解析文本指令、推断编辑意图并动态调整更新步数。我们的设计包含一个基于可微 VQA 的奖励,用于细粒度语义监督,以及一个 SAM 引导的奖励,用于实现精确、局部化且泄漏极少的编辑。在标准图像编辑与组合式生成基准上,RewardFlow 取得了最优的零样本编辑保真度与组合对齐度。

英文原文摘要 741 字符

RewardFlow is a zero-shot, training-free framework for text-guided image editing and generation based on reward-guided Langevin dynamics. We steer pretrained diffusion and flow-matching models at inference time using a diverse set of differentiable rewards, and control their influence with a prompt-aware adaptive policy that parses the text instruction, infers edit intent, and dynamically adjusts update steps. Our design includes a differentiable VQA-based reward for fine-grained semantic supervision and a SAM-guided reward for precise, localized edits with minimal leakage. Across standard image editing and compositional generation benchmarks, RewardFlow achieves state-of-the-art zero-shot edit fidelity and compositional alignment.

标签

会议 CVPR2026
页码 20066-20076
Bibkey
来源 CVF Open Access