Tag · 6 篇

推测解码

分布高效模型与推理加速4视频理解与时序13D 视觉与重建1

Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding

把「草稿模型快速提议关键帧 + 目标模型验证并迭代精化」的推测式双模型协作引入 thinking-with-frames 流程，可直接用于降低长视频 MLLM 推理中冗余多模态上下文的开销，其帧级证据标注与 RL 训练范式也可迁移到其他需要稀疏帧采样的视频推理任务。

SJD-PAC: Accelerating Speculative Jacobi Decoding via Proactive Drafting and Adaptive Continuation

对做扩散/自回归图像生成的人来说，SJD-PAC 提供了一套无需草稿模型、且严格保持目标分布的推理加速方案：通过主动起草提升高熵区域的局部接受率，并用自适应延续在首次拒绝后继续验证序列，可直接套用到自回归视觉生成器的采样环节以提升吞吐。

ParallelVLM: Lossless Video-LLM Acceleration with Visual Alignment Aware Parallel Speculative Decoding

提出免训练的并行推测解码框架，通过无偏验证器引导剪枝对齐草稿与目标模型，将视频词元剪枝与推测解码结合，为视频大模型的长视频推理提供可复用的加速方案。

Multi-Scale Local Speculative Decoding for Image Generation

把LLM中的推测解码迁移到自回归图像生成，用低分辨率drafter提出候选token、高分辨率target并行验证，并引入局部拒绝重采样替代光栅扫描式重采样，可直接用于加速自回归视觉生成模型的采样。

FlashMesh: Faster and Better Autoregressive Mesh Synthesis via Structured Speculation

把推测解码（speculative decoding）引入自回归网格生成，利用网格 token 在面/点/坐标层级上的结构相关性做多 token 并行预测，可直接迁移到其他自回归式 3D 生成器（如 MeshGPT 类模型）做免训练或轻训练加速。

E$^2$-SCI: Elastic Edge-Cloud Speculative Decoding via Credit Inertia

推测解码的接受率在相邻词元窗口间存在时序一致性（credit inertia），可据此动态调整草稿词元的验证阈值，并以异步流水线隐藏延迟；做视觉语言模型或扩散模型少步采样加速时，可把这一「按历史表现弹性放宽/收紧验证」的思路迁移到多步生成或自回归解码的验证环节。