Tag · 8 篇
ControlNet
Refacade:使用给定参考纹理编辑物体
Refacade: Editing Object with Given Reference Texture
提出基于配对3D网格渲染训练纹理移除器,并结合拼图置换破坏参考图全局布局,实现从参考物体到目标物体的局部纹理迁移;该解耦思路可复用于视频编辑中的外观控制与结构保持。
PhyCo:学习可控物理先验用于生成式运动
PhyCo: Learning Controllable Physical Priors for Generative Motion
用像素对齐的物理属性图(摩擦、弹性、形变、力)作为 ControlNet 条件,把物理参数变成视频扩散模型的可控输入;再用微调后的 VLM 对生成视频做物理问答式打分作为可微奖励,这套「属性图条件 + VLM 奖励」范式可直接迁移到其他需要物理可信度的视频生成任务。
PHAC:可提示的人体非模态补全
PHAC: Promptable Human Amodal Completion
将点级提示(关节、边界框)经 ControlNet 注入预训练扩散模型,并仅微调交叉注意力块以保持生成先验,这一「轻量适配 + 多类型提示编码」范式可直接迁移到其他需要用户精细控制的条件生成任务。
通过合成曝光包围实现线性图像生成
Linear Image Generation by Synthesizing Exposure Brackets
把高动态范围线性图像拆成曝光包围序列、再用 DiT 流匹配逐段生成,为需要保留极端高光与阴影的生成任务(HDR 合成、RAW 域生成、专业后期编辑)提供了一个可复用的表示与建模方案。
GM-R^2:面向无监督几何表征与配准的生成式匹配学习
GM-R^2: Generative Matching Learning for Unsupervised Geometric Representation and Registration
把描述子学习重构成以深度图为条件的跨视角生成任务,用视图合成的代理监督隐式约束对应点特征一致性;其去噪无关的耦合 ControlNet 与可缩放等距柱状投影(无需内参的点云转深度)可直接用于无监督 3D 配准与点云到深度图的稠密投影。
DynFusion:重新思考自适应多条件文本到图像生成中的条件融合
DynFusion: Rethinking Condition Fusion for Adaptive Multi-Conditional Text-to-Image Generation
提出一种数据驱动的自适应条件融合机制,根据扩散时间步、任务特性和特征注入位置动态选择并融合多个异构条件(如深度、边缘、参考图),可解决多条件控制中的冲突与计算冗余问题,为可控生成提供可复用的融合模块。
DreamSR:基于感受野增强扩散 Transformer 的超高分辨率图像超分辨率
DreamSR: Towards Ultra-High-Resolution Image Super-Resolution via a Receptive-Field Enhanced Diffusion Transformer
针对大分辨率图像分块推理时全局提示词与局部图像块语义错位导致的过度生成问题,提出双分支 MM-ControlNet:用图像块级提示词生成局部文本特征、用全局提示词提供全局文本特征,并配合感受野增强训练策略;这套「全局-局部提示词对齐 + 感受野增强」思路可直接迁移到其他基于扩散模型的大图分块生成任务(如修复、编辑)。
基于扩散模型的面部区域感知妆容特征妆容迁移
Diffusion-Based Makeup Transfer with Facial Region-Aware Makeup Features
用可学习 token 查询微调后的 CLIP 编码器,提取眼、嘴等面部区域级妆容特征,并以注意力损失实现区域可控注入,为扩散编辑中的局部属性控制提供了可复用范式;同时用 GPT-o3 加文本驱动编辑模型合成带标注风格数据来微调领域编码器,可迁移到其他细粒度风格迁移任务。