Tag · 3 篇
长上下文推理
分布 高效模型与推理加速2视觉语言模型1
01 02 03
VecAttention：面向长上下文推理加速的向量级稀疏注意力
VecAttention: Vector-wise Sparse Attention for Accelerating Long Context Inference
对做长视频理解或视频生成的视觉研究者，这篇论文提供了一个可直接替换全注意力的向量级稀疏注意力方案：利用视频注意力图的垂直向量稀疏模式，配合轻量重要向量选择与定制稀疏核，在 VideoMME、LongVideoBench、VBench 等任务上以约 2.65 倍加速保持精度，可作为长上下文视频模型推理加速的通用组件。
PersonaVLM：长期个性化多模态大语言模型
PersonaVLM: Long-Term Personalized Multimodal LLMs
为视觉语言模型引入可检索的多模态长期记忆库与用户人格演化建模，可作为个性化 VLM 助手、多轮视觉对话与用户偏好对齐的可复用框架；其 Persona-MME 基准也可用于评测视觉对话中的长期个性化能力。
面向大型视觉语言模型的注意力感知推理优化与显存高效解码
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
针对多图/视频长上下文 VLM 解码时 KV 缓存显存爆炸的问题，用隐式低秩结构压缩多头注意力的 K/V 矩阵，并配合 token 级注意力感知解压降低延迟；做视觉长上下文推理加速的工作可直接复用该 KV 压缩与解压调度思路，且能与 eviction、量化、kernel fusion 叠加。