Tag · 18 篇
身份保持
SyncDreamer:超越说话头部的可控且富有表现力的虚拟人生成
SyncDreamer: Controllable and Expressive Avatar Generation Beyond the Talking Head
用 Diffusion Transformer 直接从单图+语音+文本提示词生成全身说话数字人,其视觉适配器与注意力定位损失可复用于任何需要身份保持的条件生成任务;音频动力学编码器把节奏/能量等连续语音特征注入扩散过程,为语音驱动的细粒度运动控制提供了可借鉴的条件注入方式。
Stand-In:一种轻量且即插即用的视频生成身份控制方法
Stand-In: A Lightweight and Plug-and-Play Identity Control for Video Generation
通过受限自注意力与条件位置映射把条件图像分支注入预训练视频生成模型,仅用约1%额外参数即可实现身份可控生成,为视觉研究者提供了一种低成本、可复用的个性化/换脸/姿态参考视频生成控制接口。
面向姿态不变身份保持扩散的语义对齐
Semantic Alignment for Pose-Invariant Identity Preserving Diffusion
免训练的身份保持生成框架,通过语义匹配注入参考外观并用 guidance delta 调和文本-外观冲突,可直接用于姿态变化下的人物/动物个性化生成,避免对主体进行『再想象』。
说茄子!通过自然语言编辑生成细节保持的人像集合
Say Cheese! Detail-Preserving Portrait Collection Generation via Natural Language Edits
提出基于自然语言指令的人像集合生成任务,并设计自适应特征融合与 ConsistencyNet 来在复杂编辑下保持身份与细节一致性,为可控人像编辑提供了可复用的数据构建流程与一致性保持模块。
PLACID:基于视频扩散与合成轨迹的身份保持多物体合成
PLACID: Identity-Preserving Multi-Object Compositing via Video Diffusion with Synthetic Trajectories
把预训练 I2V 扩散模型的时序先验当作多物体合成的『布局收敛机制』:随机初始化物体位置,让模型在视频帧序列中把它们平滑移动到目标布局,取最后一帧作为合成结果;这套『合成轨迹数据 + 末帧取图』的范式可迁移到任何需要多元素一致排布的可控生成任务。
MultiCrafter:通过解耦注意力与身份感知偏好对齐实现高保真多主体生成
MultiCrafter: High-Fidelity Multi-Subject Generation via Disentangled Attention and Identity-Aware Preference Alignment
提出两阶段解耦训练框架:预训练阶段用显式位置监督解决注意力渗漏,后训练阶段用基于匈牙利匹配的在线强化学习做身份保持的偏好优化,可直接用于多主体个性化生成任务。
MultiAnimate:可扩展的姿态引导图像动画
MultiAnimate: Pose-Guided Image Animation Made Extensible
基于 DiT 视频生成框架,用掩码驱动的 Identifier Assigner/Adapter 注入逐人位置线索与人物间空间关系,可复用于任何需要多实例身份解耦的可控视频生成任务。
MoCha:无需结构引导的端到端视频角色替换
MoCha: End-to-End Video Character Replacement without Structural Guidance
把视频扩散模型自身的时序跟踪能力当作隐式结构先验,从而摆脱逐帧掩码与骨架/深度等显式结构引导,只需单帧任意掩码即可完成角色替换;条件感知 RoPE 与 RL 后训练可迁移到其他多模态条件注入的身份保持生成任务。
Lynx:面向高保真个性化视频生成
Lynx: Towards High-Fidelity Personalized Video Generation
用 Perceiver Resampler 把 ArcFace 人脸嵌入压成身份 token,再用 Ref-adapter 通过 cross attention 把冻结参考分支的 VAE 密集特征注入 DiT 所有层,是单图身份保持视频生成中可直接复用的双适配器条件注入方案。
基于奖励引导优化的身份保持图像到视频生成
Identity-Preserving Image-to-Video Generation via Reward-Guided Optimization
提出基于强化学习的奖励引导优化框架,通过人脸身份评分器反向传播奖励信号至采样链最后几步,并利用真实视频人脸特征池增强泛化性,为扩散模型的身份保持提供可复用技术。
ID-Crafter:面向组合式多主体视频生成的视觉语言模型接地在线强化学习
ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation
分层身份保持注意力(intra-subject/inter-subject/cross-modal 三级聚合)与 VLM 语义引导、在线 RL 微调的组合,可直接迁移到个性化视频生成与多主体可控生成中,解决多主体身份混淆与语义冲突问题。
基于身份约束人脸条件的高保真扩散人脸交换
High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning
把身份条件与属性条件解耦注入、先保身份再微调属性对齐的两阶段条件控制思路,可直接迁移到任何人脸编辑/换脸扩散模型中,用于缓解多条件冲突;后训练阶段加入身份损失与对抗损失做精修的做法也可复用到其他身份保持生成任务。
组编辑:一次编辑多张图像
Group Editing: Edit Multiple Images in One Go
将图像组视为伪视频,利用预训练视频模型的时序一致性先验,并通过 VGGT 提取显式几何对应进行融合,为多图一致编辑提供了可复用的技术路线。
ExpPortrait:通过个性化表征生成富有表现力的肖像
ExpPortrait: Expressive Portrait Generation via Personalized Representation
用高保真个性化头部表征(静态身份几何+动态表情细节)替代 2D landmark/参数化模型作为条件信号,驱动 DiT 生成肖像视频;做肖像动画或可控视频生成时,这套解耦表征与表情迁移模块可直接作为条件编码方案复用。
ConsID-Gen:视角一致且身份保持的图像到视频生成
ConsID-Gen: View-Consistent and Identity-Preserving Image-to-Video Generation
用无位姿辅助视角增强首帧、经双流视觉-几何编码器与文本-视觉连接器融合语义与结构线索,为 Diffusion Transformer 提供统一条件,可直接借鉴到任何需要多视角一致性的条件视频生成任务中。
CaricHarmony:用于身份保持漫画合成的对比扩散路径
CaricHarmony: Contrastive Diffusion Paths for Identity-Preserving Caricature Synthesis
提出免训练的并行扩散路径与基于交叉注意力特征的能量函数,用于解决多条件生成中的信号污染问题,可复用于其他需要平衡多个冲突条件的可控生成任务。
Ar2Can:以建筑师与画家借画布实现多人图像生成
Ar2Can: An Architect and an Artist Leveraging a Canvas for Multi-Human Generation
把多人生成拆成「布局规划 + 身份渲染」两阶段,并用匈牙利匹配的空间对齐人脸匹配奖励配合 GRPO 优化,可直接迁移到任何需要多主体身份保持的扩散生成/编辑流程中。
AHS:通过合成数据增强的自适应头部合成
AHS: Adaptive Head Synthesis via Synthetic Data Augmentations
提出头部重演合成数据增强策略,在无配对数据下提升头部交换模型对多样表情、姿态和发型的泛化能力,可复用于其他需要跨身份属性迁移的编辑任务。