Tag · 3 篇

交错多模态生成

分布生成模型与扩散2数据集与评测1

Wan-Weaver: Interleaved Multi-modal Generation via Decoupled Training

将交错多模态生成分解为文本规划与视觉一致性建模，并利用文本代理数据训练规划器、参考引导图像数据训练可视化器，为视觉生成中的长程跨模态上下文建模提供了可复用的解耦训练思路。

UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark

为视觉研究者提供了一个覆盖图像、视频、文档、3D 等 7 种模态、要求理解与生成交错进行的评测基准，可用于检验 MLLM 在跨模态交错推理与结构化生成上的能力，其三维度评测协议（语义正确性、结构完整性、交错连贯性）也可直接迁移到视觉生成任务的评测设计中。

TV2TV: A Unified Framework for Interleaved Language and Video Generation

把视频生成拆成交错的文本推理与视频流匹配两步，用 Mixture-of-Transformers 让语言塔决定「接下来发生什么」、视频塔负责出帧，可直接借鉴到需要长程语义分支的视频生成与推理时文本干预控制。