时空对齐

FoleyDesigner：面向电影片段的沉浸式立体声拟音生成与精确时空对齐

FoleyDesigner: Immersive Stereo Foley Generation with Precise Spatio-Temporal Alignment for Film Clips

论文将视频帧的时空线索作为条件输入潜变量扩散模型，实现与画面精确对齐的立体声拟音生成，其多智能体分析架构和时空条件注入方式可迁移到视频到音频生成、音视觉对齐等跨模态生成任务。