Tag · 2 篇
图文对齐
01 02
Role-SynthCLIP：一种角色扮演驱动的多样化合成数据方法
Role-SynthCLIP: A Role-Play Driven Diverse Synthetic Data Approach
用多视角角色扮演提示驱动 MLLM 为同一张图生成互补字幕，在固定图像数量下提升图文对的语义多样性，可直接复用于 CLIP 类模型的预训练数据构造与细粒度对齐。
DuoGen：迈向自主交错多模态生成
DuoGen: Towards Autonomous Interleaved Multimodal Generation
用预训练 MLLM 做视觉理解、用视频预训练 DiT 做图像生成，再以两阶段解耦对齐把两者拼成交错图文生成器，为视觉研究者提供了免单模态预训练即可搭建统一生成模型的可行路径，以及交错图文评测基准。