Tag · 8 篇

视觉分词器

分布生成模型与扩散4视觉语言模型2强化学习与具身智能1自监督与表征学习1

Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models

把冻结的视觉基础模型（如 DINO 类语义特征）直接当作潜扩散模型的分词器，并配一个从语义特征重建真实图像的解码器，可显著加快扩散训练收敛；做 LDM 的人可以据此替换 VAE 分词器，做表征学习的人可借鉴其双侧对齐训练策略。

VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction

提出用高维语义VQ码本（1536维）在统一分词器中同时输出连续语义特征和离散token，视觉研究者可借鉴其两阶段训练策略（先冻结编码器学码本，再自蒸馏联合优化）来构建兼顾理解与生成的视觉表征。

Rosetta Stone For Unified MLLMs: A Unified Tokenizer to Decipher Understanding and Generation

提出一种分层解耦代理任务并引入注意力优先映射的统一视觉分词器，可直接替换离散统一多模态大模型中的视觉分词模块，在理解与生成任务上同时提升；其关于对比学习式模型在统一生成与理解时存在内在冲突、以及码本收敛行为差异的分析，对设计统一视觉表征具有直接参考价值。

Residual Decoder Adapter: ID-Preserving Tokenizer Adaption for Autoregressive Text Rendering

提出一种后置适配器，在不改变分词器词元空间和自回归模型的前提下，通过残差分支增强解码器输出，从而提升文本渲染质量；该思路可复用于其他需要提升分词器重建细节的生成任务。

RecTok: Reconstruction Distillation along Rectified Flow

把视觉基础模型的语义蒸馏进流匹配的前向流轨迹而非潜空间，使高维视觉分词器不再受维度-生成质量权衡限制，可直接替换扩散 Transformer 的 tokenizer 以提升重建与生成质量。

Prompt Yourself: Awakening Textual Semantics in 1D Visual Tokenizers

提出一种自提示训练范式，在训练时同时生成视觉与文本词元并对齐到预训练语言模型，从而将语言语义注入1D视觉分词器，提升细粒度图像编码能力；该思路可复用于改进其他视觉分词器或生成模型的表征质量。

AstraNav-Memory: Contexts Compression for Long Memory

用冻结 DINOv3 特征加 PixelUnshuffle+Conv 构成的轻量视觉分词器把每帧压到约 30 个 token，使 VLM 策略能在单上下文里塞进数百帧历史；这套「图像中心压缩记忆」可直接迁移到任何需要长视觉历史输入的 VLM/具身策略中。

AToken: A Unified Tokenizer for Vision

AToken 提供了一个统一的视觉分词器，将图像、视频和3D资产编码到共享的4D潜变量空间，其纯Transformer架构和4D旋转位置编码可处理任意分辨率和时长，为多模态生成与理解任务提供了可复用的表征基础。