Tag · 2 篇
像素级监督
分布 生成模型与扩散1视觉语言模型1
01 02
VA-π:面向像素感知自回归生成的变分策略对齐
VA-p: Variational Policy Alignment for Pixel-Aware Autoregressive Generation
将自回归生成器的词元似然优化与像素空间重建质量对齐,通过变分ELBO和强化学习策略(以重建质量为内在奖励)实现轻量后训练,可直接用于提升现有AR生成模型(如LlamaGen、Janus-Pro)的生成质量,无需重训分词器或外部奖励模型。
UVU:通过视觉-语言统一自回归范式改进多模态理解
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
把像素级视觉重建作为预训练阶段的统一自回归监督信号,与文本 token 共享同一词表,为提升 MLLM 细粒度视觉感知提供了一条不依赖向量量化的连续视觉编码 + 码本构建思路,可直接迁移到其他多模态预训练配方中。