Tag · 4 篇
文生视频
分布 生成模型与扩散2数据集与评测1图像编辑与可控生成1
01 02 03 04
VABench:面向音视频生成的综合基准
VABench: A Comprehensive Benchmark for Audio-Video Generation
为做视频生成的研究者提供了一套可直接复用的音视频同步评测协议:15 个维度覆盖文本-视频、文本-音频、视频-音频两两相似度、唇音一致性以及音视频 QA,可用于诊断生成模型在同步物理音效、复杂场景等类别上的失效模式。
SynMotion:面向运动定制视频生成的语义—视觉自适应
SynMotion: Semantic-Visual Adaptation for Motion Customized Video Generation
把主体与运动表征解耦成双嵌入、再叠加参数高效运动适配器的做法,可直接迁移到任何需要「保留主体身份、只换动作」的视频扩散定制任务;配套的交替训练策略与 SPV 数据构造方式也为少样本运动定制提供了可复用的训练范式。
重新思考文生视觉生成中推理时扩展的提示词设计
Rethinking Prompt Design for Inference-time Scaling in Text-to-Visual Generation
把推理时扩展从「多采样视觉结果」扩展到「同步改写提示词」,并给出元素级事实校验器作为对齐反馈信号;做文生图/文生视频时可直接复用该「生成—诊断失败模式—重写提示词—再生成」的闭环,替代单纯增加采样步数或随机种子。
分阶段 DMD:基于子区间内分数匹配的少步分布匹配蒸馏
Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals
把 SNR 区间切分并逐段做分布匹配与分数匹配蒸馏,配合 MoE 提升少步生成器容量,可直接用于把大规模文生图/文生视频扩散模型压缩成少步采样器,同时缓解随机梯度截断带来的多样性下降与运动动态变慢问题。