Tag · 2 篇
音视频联合生成
01 02
UniAVGen：基于非对称跨模态交互的统一音频与视频生成
UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions
提出非对称跨模态交互机制与模态感知无分类器引导，可复用于任何需要时空对齐的多模态生成任务（如视频配音、说话人脸生成），其双分支 DiT 架构与 Face-Aware 调制为视觉-音频联合建模提供了新思路。
Harmony：通过跨任务协同实现音视频生成和谐化
Harmony: Harmonizing Audio and Video Generation through Cross-Task Synergy
提出跨任务协同训练与SyncCFG，可迁移到视频生成中增强跨模态对齐；全局-局部解耦交互模块为时序细粒度对齐提供高效注意力设计思路。