音视频联合嵌入

以大规模多模态对应学习推进音视频感知前沿

Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning

把视频-文本对比学习扩展到音视频-文本三模态联合嵌入，并提供用大模型为亿级音视频对合成高质量描述的数据引擎；做视频理解或多模态检索时，可直接复用其十组成对对比目标与跨模态/描述类型配对的扩展策略来提升零样本迁移。