Tag · 2 篇
KV-cache-管理
01 02
POINTS-Long：多模态大模型中的自适应双模式视觉推理
POINTS-Long: Adaptive Dual-Mode Visual Reasoning in MLLMs
对做长视频/流式多模态理解的视觉研究者，这篇提供了可动态缩放的视觉词元方案：focus/standby 双模式在推理时按需在精度与效率间切换，配合可动态分离的 KV-cache 维持超长视觉记忆，可直接借鉴到视觉编码器到 LLM 的词元预算分配与流式记忆管理环节。
油量表：在大规模多模态模型中提前估计思维链长度
Fuel Gauge: Estimating Chain-of-Thought Length Ahead of Time in Large Multimodal Models
对做多模态大模型推理部署的人，这篇给出了一个在生成前预测思维链长度的隐变量信号，可直接用于预分配 KV cache 以缓解显存碎片，也可作为自适应推理长度控制（避免过思考/欠思考）的调度依据。