Tag · 4 篇
音视频同步
VABench：面向音视频生成的综合基准
VABench: A Comprehensive Benchmark for Audio-Video Generation
为做视频生成的研究者提供了一套可直接复用的音视频同步评测协议：15 个维度覆盖文本-视频、文本-音频、视频-音频两两相似度、唇音一致性以及音视频 QA，可用于诊断生成模型在同步物理音效、复杂场景等类别上的失效模式。
听见你所见：基于扩散 Transformer 与语义-时序对齐排序直接偏好优化的视频到音频生成
Hear What You See: Video-to-Audio Generation with Diffusion Transformer and Semantic-Temporal Alignment-Ranked Direct Preference Optimization
把视频帧与文本线索作为多模态条件注入 co-attention 扩散 Transformer，并用按语义-时序对齐排序构造偏好对的 DPO 微调扩散采样过程，这套「自动排序候选 + 偏好微调」的流程可直接迁移到其他以视觉为条件的生成任务（如视频生成、可控图像生成）中提升条件对齐度。
听见关键之声！文本条件的选择性视频到音频生成
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
把文本提示词当作显式选择器，通过补充 token 引导交叉注意力从视频编码器中分离出与提示词相关的声源视觉特征，这一「文本引导特征选择」思路可迁移到视觉中的条件生成与可控编辑任务。
音频同步视频实例编辑与粒度感知掩码精修器
Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner
把用户给出的粗掩码迭代精修为实例级精确区域，并引入音频代理提供细粒度时序控制，为视频编辑中的空间-时间可控性提供了可复用的掩码精修与音频条件注入思路。