自编码器框架

统一多模态模型作为自编码器

Unified Multimodal Models as Auto-Encoders

将图像到文本理解与文本到图像生成统一为自编码器框架，并用重建奖励的强化学习联合优化编码器与解码器，为视觉语言模型提供了一种通过重建目标提升细粒度感知与生成保真度的后训练思路。