高效模型与推理加速 · CVPR2026 ·2026.06.03

SJD-PAC:通过主动起草与自适应延续加速推测式 Jacobi 解码

SJD-PAC: Accelerating Speculative Jacobi Decoding via Proactive Drafting and Adaptive Continuation

Jialiang Kang、Han Shu、Wenshuo Li、Yingjie Zhai、Xinghao Chen

与你有关的部分

对做扩散/自回归图像生成的人来说,SJD-PAC 提供了一套无需草稿模型、且严格保持目标分布的推理加速方案:通过主动起草提升高熵区域的局部接受率,并用自适应延续在首次拒绝后继续验证序列,可直接套用到自回归视觉生成器的采样环节以提升吞吐。

原文依据 SJD-PAC achieves a 3.8x speedup with lossless image quality
可迁移到 文本到图像生成自回归图像合成推理加速

摘要译文

由模型翻译 · 术语统一 · 请对照原文核对关键结论

推测式 Jacobi 解码(SJD)为加速自回归文本到图像合成提供了一种无需草稿模型的方法。然而,视觉生成的高熵特性导致复杂区域中的草稿 token 接受率偏低,形成严重限制整体吞吐量的瓶颈。为克服这一问题,我们提出 SJD-PAC,一个增强的 SJD 框架。首先,SJD-PAC 采用主动起草策略,以提升这些具有挑战性的高熵区域中的局部接受率。其次,我们引入自适应延续机制,在首次拒绝之后仍维持序列验证,从而无需进行完整的重新采样。这两项优化协同作用,显著提升了每一步的平均接受长度,在严格保持目标分布的同时提升了推理速度。在标准文本到图像基准上的实验表明,SJD-PAC 在图像质量无损的情况下实现了 3.8 倍的加速。

英文原文摘要 959 字符

Speculative Jacobi Decoding (SJD) offers a draft-model-free approach to accelerate autoregressive text-to-image synthesis. However, the high-entropy nature of visual generation yields low draft-token acceptance rates in complex regions, creating a bottleneck that severely limits overall throughput. To overcome this, we introduce SJD-PAC, an enhanced SJD framework. First, SJD-PAC employs a proactive drafting strategy to improve local acceptance rates in these challenging high-entropy regions. Second, we introduce an adaptive continuation mechanism that sustains sequence validation after an initial rejection, bypassing the need for full resampling. Working in tandem, these optimizations significantly increase the average acceptance length per step, boosting inference speed while strictly preserving the target distribution. Experiments on standard text-to-image benchmarks demonstrate that SJD-PAC achieves a 3.8x speedup with lossless image quality.

标签

会议 CVPR2026
页码 16666-16675
Bibkey
来源 CVF Open Access