Tag · 6 篇

视频扩散-Transformer

分布 高效模型与推理加速3图像编辑与可控生成2可解释性与可视化1
01
图像编辑与可控生成 / CVPR2026

Vanast:通过合成三元组监督实现结合人体动画的虚拟试衣

Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision

将图像虚拟试衣与姿态驱动人体动画合并为单步统一生成,并用合成三元组监督(人物-服装-姿态视频)训练视频扩散 Transformer;其数据构造管线与 Dual Module 架构可直接迁移到需要身份保持的可控视频生成任务。

虚拟试衣人体动画视频扩散-Transformer
02
高效模型与推理加速 / CVPR2026

VMonarch:面向高效视频扩散 Transformer 的结构化注意力

VMonarch: Efficient Video Diffusion Transformers with Structured Attention

把 Monarch 结构化矩阵引入视频 DiT 的时空注意力,用交替最小化在线拟合动态稀疏模式,并配合重计算与在线熵估计融合进 FlashAttention,可直接替换长视频生成中的全注意力层,在 90% 稀疏度下仍优于现有稀疏注意力方法。

结构化稀疏注意力视频扩散-TransformerFlashAttention
03
高效模型与推理加速 / CVPR2026

TimeRipples:通过理解潜空间中的时空相关性加速 vDiT

TimeRipples: Accelerating vDiTs by Understanding the Spatio-Temporal Correlations in Latent Space

针对 vDiT 自注意力推理延迟,利用潜空间中词元通道级的时空相关性,设计轻量自适应复用策略近似注意力计算,实现 85% 计算节省且视频质量几乎无损,为视频生成模型的高效推理提供可复用方案。

视频扩散-Transformer自注意力加速稀疏注意力
04
可解释性与可视化 / CVPR2026

我是一张地图!可解释的运动注意力图:在视频扩散 Transformer 中时空定位概念

I'm a Map! Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers

提出无需梯度计算或参数更新的 GramCol 方法,为视频扩散 Transformer 生成逐帧概念显著性图,可复用于模型内部表示分析与零样本视频语义分割。

视频扩散-Transformer显著性图零样本视频语义分割
05
图像编辑与可控生成 / CVPR2026

DreamingComics:基于视频模型的主体与布局定制化故事可视化流程

DreamingComics: A Story Visualization Pipeline via Subject and Layout Customized Generation using Video Models

RegionalRoPE 按目标布局对 token 位置索引重编码,配合 masked condition loss 把主体特征约束到指定区域,这套「区域感知位置编码 + 掩码条件损失」可直接迁移到任何基于 DiT 的布局可控图像/视频生成任务。

布局可控生成主体一致性位置编码
06
高效模型与推理加速 / CVPR2026

AdaCluster:面向视频生成的稀疏注意力自适应查询-键聚类

AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation

对做视频扩散 Transformer 推理加速的人,这篇给出了一个免训练的稀疏注意力方案:对 query 用保角相似度的聚类、对 key 用保欧氏相似度的聚类,并配合按阈值自适应确定簇数与关键簇选择,可直接套到 CogVideoX、HunyuanVideo、Wan 等 DiT 主干上换取 1.67x–4.31x 加速。

稀疏注意力免训练加速视频扩散-Transformer