音视频多模态学习

利用视觉线索的电影音频源分离

Cinematic Audio Source Separation Using Visual Cues

把视觉线索作为条件注入条件流匹配生成过程，为视觉研究者提供了一个可复用的范式：用视频帧（人脸、场景）作为条件信号去引导音频生成/分离，可迁移到其他以视觉为条件的生成任务（如视觉引导的语音增强、音效合成）。