Tag · 6 篇
视频到音频生成
PAVAS：物理感知的视频到音频合成
PAVAS: Physics-Aware Video-to-Audio Synthesis
把 VLM 估计的物体质量与基于分割的动态三维重建得到的运动轨迹作为物理条件注入潜变量扩散，为视觉研究者提供了一条「从视频中显式提取物理量再驱动跨模态生成」的可复用管线，也给出了用 APCC 衡量生成结果物理一致性的评测思路。
听见关键之声！文本条件的选择性视频到音频生成
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
把文本提示词当作显式选择器，通过补充 token 引导交叉注意力从视频编码器中分离出与提示词相关的声源视觉特征，这一「文本引导特征选择」思路可迁移到视觉中的条件生成与可控编辑任务。
FoleyDirector：通过结构化脚本实现视频到音频生成的细粒度时序引导
FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts
FoleyDirector 在 DiT 架构上通过结构化时序脚本和时序脚本注意力实现细粒度时序控制，为视觉研究者提供了一种可复用的时序条件注入机制，尤其适用于多事件或视觉线索不足（如小区域、画外音、遮挡）的视频到音频生成场景。
时间回响：解锁视频到音频生成模型中的长度泛化能力
Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models
论文提出的非因果 Mamba 层次化架构，为视觉研究者提供了一种在测试时把短视频训练模型外推到长视频序列的思路，可直接迁移到长视频生成、长时序多模态对齐等需要长度泛化的场景。
EchoFoley：以事件为中心的层次化控制用于视频接地创意音效生成
EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation
提出以事件为中心的符号化表示（何时、何声、如何发声）作为细粒度控制信号，可迁移到视频生成中的局部事件控制；其慢快思维智能体框架为多模态条件平衡提供新思路。
单因素物理视频到音频生成的基准评测
Benchmarking Single-Factor Physical Video-to-Audio Generation
为视频到音频生成提供了单因素反事实配对与单视频模式测试的评测协议，可直接用于诊断多模态生成模型对视觉流与文本条件的依赖程度，并揭示时序对齐与语义准确率之间的权衡。