Tag · 2 篇
统一理解与生成
分布 数据集与评测1视觉语言模型1
01 02
UniM：统一任意到任意交错多模态基准
UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark
为视觉研究者提供了一个覆盖图像、视频、文档、3D 等 7 种模态、要求理解与生成交错进行的评测基准，可用于检验 MLLM 在跨模态交错推理与结构化生成上的能力，其三维度评测协议（语义正确性、结构完整性、交错连贯性）也可直接迁移到视觉生成任务的评测设计中。
HBridge：面向统一多模态理解与生成的异构专家 H 形桥接
HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation
HBridge 的非对称 H 形桥接结构只在中层共享注意力、浅层与深层解耦，为视觉研究者提供了一种可复用的异构专家融合范式：在保留 LLM 与扩散模型各自预训练先验的同时降低跨模态注意力的共享开销，可直接迁移到需要同时做视觉理解与图像生成的统一模型中。