视觉词元化

面向多模态大语言模型的更词元化的图像词元化方法

A More Word-like Image Tokenization for MLLMs

DiVT 将图像块嵌入聚类成语义单元，使视觉词元更接近离散词元，并动态调整词元预算，为视觉-语言模型提供了一种不修改编码器与语言模型即可降低视觉词元数量与延迟的即插即用方案。