Tag · 2 篇
统一多模态生成
01 02
PhotoFramer:多模态图像构图指令
PhotoFramer: Multi-modal Image Composition Instruction
把「构图指导」建模为文本指令加示例图的双输出任务,并给出用多视角数据加退化模型合成「构图差—构图好」配对的可复用数据构造流程,可直接迁移到其他需要成对编辑监督的图像生成任务。
OmniGen2:迈向指令对齐的多模态生成
OmniGen2: Towards Instruction-Aligned Multimodal Generation
两阶段范式(先构建世界知识基础模型,再用渐进式多任务强化学习对齐)可直接迁移到任何需要细粒度指令遵循的视觉生成任务;解耦解码架构与新型位置编码方案为统一多模态生成器的效率设计提供参考。