我是一张地图！可解释的运动注意力图：在视频扩散 Transformer 中时空定位概念
I'm a Map! Interpretable Motion-Attentive Maps: Spatio-Temporally Localizing Concepts in Video Diffusion Transformers
提出无需梯度计算或参数更新的 GramCol 方法，为视频扩散 Transformer 生成逐帧概念显著性图，可复用于模型内部表示分析与零样本视频语义分割。
原文依据 our method discovers concept saliency maps without the need for any gradient calculation or parameter update
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论视频扩散 Transformer（DiTs）已能根据涉及运动的文本描述合成高保真高质量视频。然而，理解视频 DiTs 如何将运动词汇转化为视频仍不充分。此外，尽管先前关于可解释显著性图的研究主要针对物体，视频 DiTs 中与运动相关的行为仍很大程度上未被探索。本文研究具体运动特征，这些特征针对给定运动概念指定何时以及哪个物体运动。首先，为实现空间定位，我们引入 GramCol，它自适应地为任意文本概念（包括运动和非运动概念）生成逐帧显著性图。其次，我们提出一种运动特征选择算法，以获得可解释的运动注意力图（IMAP），该图在空间和时间上定位运动。我们的方法无需任何梯度计算或参数更新即可发现概念显著性图。实验上，我们的方法在运动定位任务和零样本视频语义分割上展现出卓越的定位能力，为运动和非运动概念提供可解释且更清晰的显著性图。
英文原文摘要 1181 字符
Video Diffusion Transformers (DiTs) have been synthesizing high-quality video with high fidelity from given text descriptions involving motion. However, understanding how Video DiTs convert motion words into video remains insufficient. Furthermore, while prior studies on interpretable saliency maps primarily target objects, motion-related behavior in Video DiTs remains largely unexplored. In this paper, we investigate concrete motion features that specify when and which object moves for a given motion concept. First, to spatially localize, we introduce GramCol, which adaptively produces per-frame saliency maps for any text concept, including both motion and non-motion. Second, we propose a motion-feature selection algorithm to obtain an Interpretable Motion-Attentive Map (IMAP) that localizes motion spatially and temporally. Our method discovers concept saliency maps without the need for any gradient calculation or parameter update. Experimentally, our method shows outstanding localization capability on the motion localization task and zero-shot video semantic segmentation, providing interpretable and clearer saliency maps for both motion and non-motion concepts.