Tag · 8 篇
文生图
dMLLM-TTS:面向扩散多模态大语言模型的自验证高效测试时扩展
dMLLM-TTS: Self-Verified and Efficient Test-Time Scaling for Diffusion Multi-Modal Large Language Models
把 dMLLM 自身的图像理解能力当作验证器,配合 O(N+T) 的分层搜索在采样轨迹与迭代精修两个维度上做测试时扩展,可直接迁移到任意扩散式多模态大模型的推理阶段以提升文生图质量并降低搜索开销。
ThinkGen:面向视觉生成的泛化思维
ThinkGen: Generalized Thinking for Visual Generation
把 MLLM 的思维链推理作为扩散生成的指令来源,并用可分离的 GRPO 交替训练 MLLM 与 DiT,为视觉生成提供了一条可跨场景泛化的「先推理后生成」训练范式,可直接迁移到文生图、指令式编辑等条件生成任务。
重新审视统一多模态模型的视觉生成:面向高效纯图像预训练的掩码建模
Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training
把 UMM 的视觉生成部分拆成「纯图像掩码预训练 + 少量图文对指令对齐」两阶段,用 1000 H800 小时从零训出 3.6B 生成器,为视觉研究者提供了一个低成本复现统一多模态生成能力的训练配方。
解决文生图生成中的身份危机
Resolving the Identity Crisis in Text-to-Image Generation
用 GRPO 加组合式奖励(人脸相似度惩罚、跨样本身份重复惩罚、人数计数约束)微调 flow-matching 文生图模型,为多人物生成中的身份坍缩提供了一套无需真实数据的可复用后训练范式。
状态混合:面向多模态生成的路由式 token 级动态
Mixture of States: Routing Token-Level Dynamics for Multimodal Generation
把跨模态融合从固定结构改为 token 级、随去噪时间步变化的可学习稀疏路由,可直接迁移到任何多模态扩散骨干(如 DiT)中替换固定的 cross-attention 融合层,在几乎不增加参数与算力的情况下提升文生图/编辑质量。
MapReduce LoRA:推进生成模型多偏好优化的帕累托前沿
MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models
MapReduce LoRA 用并行训练偏好专属 LoRA 专家再迭代合并进共享基座,RaTE 用奖励专属词元嵌入在推理时组合,为文生图/文生视频模型提供可复用的多奖励对齐与推理时偏好切换手段。
引导 token 稀疏扩散模型
Guiding Token-Sparse Diffusion Models
对在稀疏 token 上训练的扩散模型,用 token 级稀疏性替代条件 dropout 作为引导信号,可在推理时以更少 FLOPs 获得更高保真度与条件预测方差,可直接替换现有 CFG 采样流程。
DeCo:面向端到端图像生成的频率解耦像素扩散
DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation
把高频细节交给轻量像素解码器、让 DiT 专注低频语义的频率解耦思路,可直接迁移到任何在像素空间做扩散/流匹配的生成框架,用来降低训练与采样成本;配套的频率感知流匹配损失也可复用于其他扩散模型的损失设计。