统一多模态大模型

统一多模态大模型的罗塞塔石碑：一种破译理解与生成的统一分词器

Rosetta Stone For Unified MLLMs: A Unified Tokenizer to Decipher Understanding and Generation

提出一种分层解耦代理任务并引入注意力优先映射的统一视觉分词器，可直接替换离散统一多模态大模型中的视觉分词模块，在理解与生成任务上同时提升；其关于对比学习式模型在统一生成与理解时存在内在冲突、以及码本收敛行为差异的分析，对设计统一视觉表征具有直接参考价值。