音视频生成

OmniSonic：面向视频与文本的通用整体音频生成

OmniSonic: Towards Universal and Holistic Audio Generation from Video and Text

TriAttn-DiT 用三路交叉注意力分别处理屏内环境声、屏外环境声与语音条件，并以 MoE 门控自适应加权，这种「多条件分支 + 门控融合」的结构可直接迁移到视频到音频、视频到音乐等多模态条件生成任务中；UniHAGen-Bench 也提供了评估视频条件音频生成的评测协议。