Tag · 2 篇
KV-缓存
分布 视觉语言模型1高效模型与推理加速1
01 02
边看边想：面向大型视觉语言模型的流式思维链推理
Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models
把视频 LVLM 的思维链从「看完再想」改成「边看边想」，用流式注意力掩码、位置编码和并行 KV 缓存实现帧到达即推理，可直接迁移到任何需要低延迟视频问答或在线视频理解的视觉语言模型上。
FlashDecoder：基于 Transformer 的实时潜变量到像素流式解码器
FlashDecoder: Real-Time Latent-to-Pixel Streaming Decoder with Transformers
把视频 VAE 的解码器从 3D 卷积换成带滚动 KV 缓存的纯 Transformer，实现定长时序窗口下的逐帧流式解码，可直接替换现有潜视频扩散模型的解码环节，在 1080p 长视频上同时降低延迟与显存。