Tag · 10 篇
自回归图像生成
VibeToken:扩展一维图像分词器与自回归模型以实现动态分辨率生成
VibeToken: Scaling 1D Image Tokenizers and Autoregressive Models for Dynamic Resolution Generations
把图像编码成 32–256 个可动态控制长度的一维 token,使自回归生成器在任意分辨率下保持恒定浮点运算量;做视觉生成时可借鉴其分辨率无关的分词器设计,替代固定分辨率 VQ 分词器来降低高分辨率推理成本。
面向视觉分词与生成的球面 Leech 量化
Spherical Leech Quantization for Visual Tokenization and Generation
把无参数量化统一到格编码框架下,用 Leech 格(Λ24)在高维球面上做均匀量化,可直接替换 BSQ 等无查找量化器嵌入自回归图像生成与压缩管线,简化训练配方并改善重建-压缩折中。
语义上下文很重要:改进自回归模型的条件控制
Semantic Context Matters: Improving Conditioning for Autoregressive Models
把语义条件从解码阶段的稀疏视觉 token 注入提前到输入阶段的压缩语义预填充,并配合语义对齐引导,可作为即插即用模块迁移到 next-token 与 next-scale 两类自回归生成/编辑框架中。
Proxy-Tuning:为多模态自回归模型定制主体驱动图像生成能力
Proxy-Tuning: Tailoring Multimodal Autoregressive Models for Subject-Driven Image Generation
用扩散模型作为「代理监督」微调多模态自回归模型,使其获得主体驱动生成能力,并揭示弱到强泛化现象;对做个性化生成的人,这是一条绕开扩散架构、把 AR 模型拉进主体定制任务的可行路径,也提示可用强模型监督弱模型来补齐架构短板。
分块推进:面向自回归图像生成的测试时扩展
Progress by Pieces: Test-Time Scaling for Autoregressive Image Generation
把 LLM 的 test-time scaling 思路迁移到视觉自回归模型:用网格分区的渐进式生成 + 早期剪枝 + 锚点固定,替代 Best-of-N 的全长浪费计算,可直接用于提升任意栅格扫描式 AR 图像生成器的采样质量与成本比。
面向快速自回归图像生成的并行 Jacobi 解码
Parallel Jacobi Decoding for Fast Autoregressive Image Generation
把 Jacobi 式投机解码的草稿序列从一维 token 链扩展到二维空间邻域,并配合调整注意力掩码抑制误差累积,可直接套用到 VAR、ImageGPT 等自回归图像生成器的推理阶段,在不重训的前提下换取数倍加速。
面向图像生成的多尺度局部推测解码
Multi-Scale Local Speculative Decoding for Image Generation
把LLM中的推测解码迁移到自回归图像生成,用低分辨率drafter提出候选token、高分辨率target并行验证,并引入局部拒绝重采样替代光栅扫描式重采样,可直接用于加速自回归视觉生成模型的采样。
FastHybrid:利用前瞻与引导解码加速混合自回归图像生成
FastHybrid: Accelerating Hybrid Autoregressive Image Generation with Lookahead and Guided Decoding
把混合自回归生成中的扩散解码头拆成「语义预测」与「细节精修」两条并行分支,并用引导扩散采样压缩去噪步数,为视觉生成中扩散解码器的推理加速提供了可直接复用的解码调度思路。
DPAR:面向高效自回归视觉生成的动态图像块划分
DPAR: Dynamic Patchification for Efficient Autoregressive Visual Generation
用轻量无监督自回归模型的下一词元预测熵作为信息量准则,动态合并词元为大图像块,可直接迁移到任何 decoder-only 视觉自回归生成器中以降低注意力计算并加速收敛。
ClusterMark:面向自回归图像生成器、基于视觉词元聚类的鲁棒水印
ClusterMark: Towards Robust Watermarking for Autoregressive Image Generators with Visual Token Clustering
对做自回归图像生成的人,这篇给出了在词元序列上嵌入可检测水印的具体做法:按视觉词元聚类划分红/绿集合来偏置下一词元预测,并证明聚类比逐词元划分更能抵抗图像扰动与再生攻击,可直接复用到 VQ 词元序列的生成框架中。