Tag · 15 篇
统一多模态模型
WEAVE：释放并基准化上下文交错理解与生成
WEAVE: Unleashing and Benchmarking the In-context Interleaved Comprehension and Generation
提供了首个面向多轮上下文交错理解与生成的大规模数据集与人工标注基准，并给出结合参考图像与原始图文指令对的混合 VLM 评判协议，可直接用于训练和评测统一多模态模型的视觉记忆与上下文推理能力。
统一个性化理解、生成与编辑
Unified Personalized Understanding, Generating and Editing
提出结构化解耦的概念令牌与显式知识回放机制，可在统一多模态模型中实现理解、生成与编辑的个性化，避免跨任务干扰；其跨任务评估协议也为个性化统一模型提供了可复用的评测思路。
统一多模态模型作为自编码器
Unified Multimodal Models as Auto-Encoders
将图像到文本理解与文本到图像生成统一为自编码器框架，并用重建奖励的强化学习联合优化编码器与解码器，为视觉语言模型提供了一种通过重建目标提升细粒度感知与生成保真度的后训练思路。
UniVerse：以推理与知识赋能统一生成
UniVerse: Empower Unified Generation with Reasoning and Knowledge
把「隐式提示→推理链→显式提示」的三元组监督引入统一多模态模型的 T2I 训练，为视觉研究者提供了一条用中间推理链提升生成模型组合性与知识性的可复用数据构造与训练范式。
UniCompress：面向统一视觉-语言理解与生成的词元压缩
UniCompress: Token Compression for Unified Vision-Language Understanding and Generation
对做统一视觉-语言模型的人，这套带可学习全局元词元的即插即用压缩/解压模块可以直接插到已有的离散词元自回归框架里，把图像词元砍到 1/4 而不必全量重训，是降低多模态推理延迟与显存的一条低成本路径。
TUNA：为原生统一多模态模型驯服统一视觉表征
TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models
把 VAE 编码器与预训练表征编码器级联成统一连续视觉空间，让理解与生成共享同一表征，视觉研究者可直接复用该表征设计来消除理解/生成双编码器的格式错配，并借鉴其「表征编码器越强则全任务越好」的结论选型骨干。
重新审视统一多模态模型的视觉生成：面向高效纯图像预训练的掩码建模
Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training
把 UMM 的视觉生成部分拆成「纯图像掩码预训练 + 少量图文对指令对齐」两阶段，用 1000 H800 小时从零训出 3.6B 生成器，为视觉研究者提供了一个低成本复现统一多模态生成能力的训练配方。
RealUnify：统一模型真的从统一中获益吗？一个全面的基准
RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark
对做统一多模态模型（理解+生成）的研究者，这个基准提供了可复用的双向协同评测协议：把任务拆成理解阶段与生成阶段分别打分，能定位瓶颈是核心能力不足还是能力整合失败，可直接用来诊断自家统一模型的训练策略与归纳偏置设计。
OneCAT：面向统一理解与生成的纯解码器自回归模型
OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation
用模态专属 MoE 加统一自回归目标，在纯 decoder-only Transformer 内同时做理解、生成与编辑，推理时不再依赖 ViT 和视觉分词器，对高分辨率输入输出尤其省算力；scale-aware adapter 把多尺度视觉自回归塞进 LLM，给做统一多模态生成的人一条低延迟、可原生支持动态分辨率的替代路线。
MICON-Bench：统一多模态模型中多图上下文图像生成的基准评测与增强
MICON-Bench: Benchmarking and Enhancing Multi-Image Context Image Generation in Unified Multimodal Models
对做统一多模态模型与图像生成评测的人，这篇提供了多图上下文生成的六任务基准和 MLLM-as-verifier 的自动打分协议，可直接用于诊断跨图一致性与幻觉；DAR 是一种免训练、即插即用的推理期注意力调整手段，可迁移到任意扩散/自回归生成骨干上提升跨图连贯性。
通过理解来生成：面向统一多模态模型的理解驱动内在奖励
Learning to Generate via Understanding: Understanding-Driven Intrinsic Rewarding for Unified Multimodal Models
把统一多模态模型的理解分支当作奖励模型，用 token 级文本-图像对齐内在奖励做自监督强化学习来提升 T2I 生成，为视觉研究者提供了一种无需外部偏好数据即可微调生成质量的思路。
Hint2Gen：通过代码结构化提示连接理解与生成
Hint2Gen: Bridging Understanding and Generation via Code-structured Hints
把 SVG/HTML 这类代码结构化提示作为图像平面上的显式条件输入，接到 FLUX.1 Kontext 这类扩散编辑模型上，为「推理密集型生成」提供了一条可复用的条件注入路径；Reason2Gen 基准也可直接用于评测生成模型的推理能力。
GGBench：面向统一多模态模型的几何生成推理基准
GGBench: A Geometric Generative Reasoning Benchmark for Unified Multimodal Models
为视觉研究者提供了一个可确定性验证的生成式几何推理评测框架：每个样本对齐自然语言指令、可执行 GeoGebra 代码与渲染图，可用于检验多模态模型「先推理再作图」的能力，并作为训练/评测几何作图与程序化图形生成的数据来源。
从生成视角探索空间智能
Exploring Spatial Intelligence from a Generative Perspective
提供了一个可复用的评测协议与合成数据管线：用 3D 先验引导生成并自动标注空间编辑样本，可直接用于评测或微调统一多模态模型的 3D 空间约束遵循能力，并验证生成式训练反哺空间理解。
ConsistCompose：面向图像合成的统一多模态布局控制
ConsistCompose: Unified Multimodal Layout Control for Image Composition
把布局坐标直接嵌入语言提示、并用坐标感知的无分类器引导实现空间控制，为视觉研究者提供了一种无需任务专用分支即可复用到底层生成模型上的布局可控多实例生成方案，同时配套的 3.4M 布局与身份标注数据集可用于训练与评测布局条件生成。