Tag · 3 篇
交叉注意力控制
分布 图像编辑与可控生成2生成模型与扩散1
01 02 03
面向高分辨率与解耦的基于参考的草图上色
Towards High-resolution and Disentangled Reference-based Sketch Colorization
以 SDXL 为骨干、草图作空间引导、RGB 参考图作颜色参考的参考式草图上色框架,其拆分交叉注意力加空间掩码分别处理前景/背景、以及用 tagger 网络提取属性级控制信号的思路,可直接迁移到其他需要区域解耦与细粒度参考控制的图像生成/编辑任务。
通过概念-提示词绑定组合来自图像和视频的概念
Composing Concepts from Images and Videos via Concept-prompt Binding
提出通过绑定视觉概念与提示词词元,在扩散 Transformer 的交叉注意力中实现单样本概念组合,可复用于个性化生成与视频编辑中的概念解耦控制。
面向视角自适应人体视频生成的3D感知隐式运动控制
3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation
提出一种隐式、视角无关的运动表示,通过与预训练视频生成器联合训练运动编码器,实现文本驱动的相机控制和新视角合成,为可控人体视频生成提供了不依赖显式3D模型的新思路。