Tag · 3 篇

视觉自回归生成

分布高效模型与推理加速2生成模型与扩散1

VVS: Accelerating Speculative Decoding for Visual Autoregressive Generation via Partial Verification Skipping

把 LLM 里的投机解码搬到视觉自回归生成上，并首次提出「跳过验证步」：用动态截断的免验证词元选择器 + 词元级特征缓存复用 + 细粒度跳步调度，直接减少目标模型前向次数（2.8×），对做视觉 AR 生成（如 VAR 类模型）落地加速的人是一套可直接复用的推理框架。

RADAR: VQ-VAE Decoder of VAR is a Good Student for Restoring Against Degradation by Acceleration

针对VAR中跨尺度注意力语义偏置问题，提出语义代价感知的注意力掩码与解码器端LoRA知识蒸馏恢复，为视觉自回归生成提供可复用的加速与保真平衡方案。

Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens

把预训练高维语义表征（768-1024 维）直接离散化后做掩码扩散生成，使同一套离散词元既能用于理解又能用于生成，为视觉生成与语言模型共享词元预测范式提供了可复用的路径；其「任意维度任意位置可掩码、生成步数固定为 T」的机制可直接迁移到高维特征上的生成式建模。