高效模型与推理加速 / CVPR2026
E$^2$-SCI:基于信用惯性的弹性边云推测解码
E$^2$-SCI: Elastic Edge-Cloud Speculative Decoding via Credit Inertia
推测解码的接受率在相邻词元窗口间存在时序一致性(credit inertia),可据此动态调整草稿词元的验证阈值,并以异步流水线隐藏延迟;做视觉语言模型或扩散模型少步采样加速时,可把这一「按历史表现弹性放宽/收紧验证」的思路迁移到多步生成或自回归解码的验证环节。
推测解码边云协同推理自适应阈值