Tag · 1 篇
Mixture of States: Routing Token-Level Dynamics for Multimodal Generation
把跨模态融合从固定结构改为 token 级、随去噪时间步变化的可学习稀疏路由,可直接迁移到任何多模态扩散骨干(如 DiT)中替换固定的 cross-attention 融合层,在几乎不增加参数与算力的情况下提升文生图/编辑质量。