Tag · 2 篇
注意力稀疏化
分布 视觉语言模型1高效模型与推理加速1
01 02
Video-LLM 如何回答视频问题的实证研究
An Empirical Study on How Video-LLMs Answer Video Questions
用注意力敲除（temporal/spatial/language-to-video）逐层分析 Video-LLM，揭示视频信息抽取集中在浅层、中间层是关键离群层、时空建模更依赖语言引导的检索而非视频 token 自注意力；这些结论可直接用于剪掉冗余的视频自注意力计算，为 Video-LLM 的推理加速和结构设计提供依据。
通过异构缓存加速基于扩散的视频编辑：超越在采样去噪时间步上的全量计算
Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep
对做视频扩散编辑的人，HetCache 提供了一种免训练、可插拔的 DiT 推理加速手段：按空间先验把时空 token 分为上下文 token 与生成 token，只缓存与生成 token 相关性最强的上下文 token，从而跳过冗余注意力计算，可直接套用到 MV2V 类编辑管线以降低延迟与浮点运算量。