KV缓存量化

StreamingTOM：面向高效视频理解的流式词元压缩

StreamingTOM: Streaming Token Compression for Efficient Video Understanding

提出免训练的两阶段词元压缩框架，在LLM前通过因果时序缩减减少每帧预填充成本，在LLM后通过4位量化内存管理KV缓存，为流式视频理解提供可预测延迟和有限内存的解决方案。