音视频对齐

面向视频到语音生成的层级编解码扩散模型

Hierarchical Codec Diffusion for Video-to-Speech Generation

把 RVQ 编解码器的层级结构直接映射为扩散 Transformer 的低层/高层 block，并用唇动、身份、表情分别条件化不同层级，这种「按 token 层级分配视觉条件」的做法可迁移到其他跨模态生成任务（如视频到动作、面部到语音）。