Tag · 6 篇
视频扩散-Transformer
Vanast:通过合成三元组监督实现结合人体动画的虚拟试衣
Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision
将图像虚拟试衣与姿态驱动人体动画合并为单步统一生成,并用合成三元组监督(人物-服装-姿态视频)训练视频扩散 Transformer;其数据构造管线与 Dual Module 架构可直接迁移到需要身份保持的可控视频生成任务。
VMonarch:面向高效视频扩散 Transformer 的结构化注意力
VMonarch: Efficient Video Diffusion Transformers with Structured Attention
把 Monarch 结构化矩阵引入视频 DiT 的时空注意力,用交替最小化在线拟合动态稀疏模式,并配合重计算与在线熵估计融合进 FlashAttention,可直接替换长视频生成中的全注意力层,在 90% 稀疏度下仍优于现有稀疏注意力方法。
TimeRipples:通过理解潜空间中的时空相关性加速 vDiT
TimeRipples: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space
针对 vDiT 自注意力推理延迟,利用潜空间中词元通道级的时空相关性,设计轻量自适应复用策略近似注意力计算,实现 85% 计算节省且视频质量几乎无损,为视频生成模型的高效推理提供可复用方案。
我是一张地图!可解释的运动注意力图:在视频扩散 Transformer 中时空定位概念
I'm a Map! Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers
提出无需梯度计算或参数更新的 GramCol 方法,为视频扩散 Transformer 生成逐帧概念显著性图,可复用于模型内部表示分析与零样本视频语义分割。
DreamingComics:基于视频模型的主体与布局定制化故事可视化流程
DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models
RegionalRoPE 按目标布局对 token 位置索引重编码,配合 masked condition loss 把主体特征约束到指定区域,这套「区域感知位置编码 + 掩码条件损失」可直接迁移到任何基于 DiT 的布局可控图像/视频生成任务。
AdaCluster:面向视频生成的稀疏注意力自适应查询-键聚类
AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation
对做视频扩散 Transformer 推理加速的人,这篇给出了一个免训练的稀疏注意力方案:对 query 用保角相似度的聚类、对 key 用保欧氏相似度的聚类,并配合按阈值自适应确定簇数与关键簇选择,可直接套到 CogVideoX、HunyuanVideo、Wan 等 DiT 主干上换取 1.67x–4.31x 加速。