Tag · 8 篇
组合式生成
UniVerse:面向无分割、解耦多概念个性化的统一调制框架
UniVerse: A Unified Modulation Framework for Segmentation-Free, Disentangled Multi-Concept Personalization
在扩散 Transformer 中通过调制实现无需分割掩码的多概念解耦与组合,可直接复用于个性化生成与概念编辑,避免依赖分割监督。
面向组合式视频生成的免训练运动分解
Training-free Motion Factorization for Compositional Video Generation
把复杂运动拆成静止/刚体/非刚体三类,并用免训练的引导分支在扩散采样中分别约束外观稳定、刚体几何与局部形变,可直接迁移到任何视频扩散骨干上做可控运动合成。
面向分解式人体运动生成的能量扩散模型
Towards Decompositional Human Motion Generation with Energy-Based Diffusion Models
把能量模型与扩散采样结合,用组合分布刻画多个运动概念的并集,从而在无逐概念真值的情况下把整体运动拆成可复用基元;这套「能量式组合分布 + 分解训练」的思路可直接迁移到视觉中的组合式视频/动作生成与概念解耦。
合成课程强化组合式文本到图像生成
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
用场景图定义组合难度并配合 MCMC 图采样构造由易到难的训练课程,再接入 GRPO 做强化学习微调,这套「难度感知课程 + 策略优化」流程可直接迁移到扩散或自回归 T2I 模型的组合能力提升上。
Omni-Attribute:面向视觉概念个性化的开放词表属性编码器
Omni-Attribute: Open-vocabulary Attribute Encoder for Visual Concept Personalization
把「属性」当作可检索的开放词表嵌入来学习,用正负属性配对数据加对比解耦目标,替代通用编码器的整体嵌入;做个性化/风格迁移时可直接复用该编码器来隔离身份、光照、风格等单一因素,减少信息泄漏。
HiCoGen:基于强化学习的扩散模型分层组合式文本到图像生成
HiCoGen: Hierarchical Compositional Text-to-Image Generation in Diffusion Models via Reinforcement Learning
把复杂提示拆成最小语义单元、逐步合成并让每步图像作为下一步视觉上下文,再用分层奖励的强化学习优化采样;其中「将随机性集中在前段以最大化样本多样性」的衰减随机性调度可直接用于任何扩散采样的探索增强。
用语义退化条件引导扩散模型
Guiding Diffusion Models with Semantically Degraded Conditions
CDG 提出用语义退化条件替代空提示词作为负样本,为扩散模型引导提供了一种无需训练、即插即用的改进方案,可直接用于提升文本到图像生成的组合准确性和图文对齐。
基于区域感知双模态直接偏好优化的组合式文本到图像生成
Compositional Text-to-Image Generation Via Region-aware Bimodal Direct Preference Optimization
提出区域感知的双模态直接偏好优化(BIDPO),可复用于提升扩散模型对复杂组合提示词的遵循能力,尤其是属性绑定、对象关系和计数等细粒度对齐任务。