Tag · 1 篇
Fuel Gauge: Estimating Chain-of-Thought Length Ahead of Time in Large Multimodal Models
对做多模态大模型推理部署的人，这篇给出了一个在生成前预测思维链长度的隐变量信号，可直接用于预分配 KV cache 以缓解显存碎片，也可作为自适应推理长度控制（避免过思考/欠思考）的调度依据。