TempoControl：面向文本到视频模型的时序注意力引导
TempoControl: Temporal Attention Guidance for Text-to-Video Models
利用文本到视频扩散模型中的交叉注意力图作为可优化的控制信号，在推理阶段对概念出现的时间位置进行对齐，无需重训练；这一思路可迁移到任何基于交叉注意力的可控生成任务（如空间布局控制、视频编辑中的时序一致性约束）。
原文依据 TempoControl utilizes cross-attention maps, a key component of text-to-video diffusion models, to guide the timing of concepts
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论生成式视频模型的最新进展使得基于自然语言提示创建高质量视频成为可能。然而，这些模型往往缺乏细粒度的时序控制，即用户无法指定特定视觉元素应在生成序列中何时出现。在本工作中，我们提出 TempoControl，一种在推理阶段实现视觉概念时序对齐的方法，无需重新训练或额外监督。TempoControl 利用文本到视频扩散模型的关键组成部分——交叉注意力图，通过一种新颖的优化方法来引导概念出现的时间。我们的方法依据三条互补原则来引导注意力：使其时序模式与控制信号对齐（相关性）、在需要可见性的位置调整其强度（幅值）、以及保持语义一致性（熵）。TempoControl 在保持高视频质量与多样性的同时提供了精确的时序控制。我们展示了其在多种应用上的有效性，包括单物体与多物体的时序重排、动作时序控制，以及音频对齐的视频生成。
英文原文摘要 1176 字符
Recent advances in generative video models have enabled the creation of high-quality videos based on natural language prompts. However, these models frequently lack fine-grained temporal control, meaning they do not allow users to specify when particular visual elements should appear within a generated sequence. In this work, we introduce TempoControl, a method that allows for temporal alignment of visual concepts during inference, without requiring retraining or additional supervision. TempoControl utilizes cross-attention maps, a key component of text-to-video diffusion models, to guide the timing of concepts through a novel optimization approach. Our method steers attention using three complementary principles: aligning its temporal pattern with a control signal (correlation), adjusting its strength where visibility is required (magnitude), and preserving semantic consistency (entropy). TempoControl provides precise temporal control while maintaining high video quality and diversity. We demonstrate its effectiveness across various applications, including temporal reordering of single and multiple objects, action timing, and audio-aligned video generation.