Tag · 3 篇
离散潜变量
分布 生成模型与扩散2自监督与表征学习1
01 02 03
PyraTok：面向视频理解与生成的语言对齐金字塔分词器
PyraTok: Language-Aligned Pyramidal Tokenizer for Video Understanding and Generation
PyraTok 把视频 VAE 的编码器特征在多个深度上用共享大码本做二值量化，并联合多尺度文本引导量化与自回归目标训练，可直接替换现有视频生成/理解管线中的离散分词器，提升跨模态对齐与零样本下游迁移。
面向过离散潜变量建模的负二项变分自编码器
Negative Binomial Variational Autoencoders for Overdispersed Latent Modeling
为VAE类生成模型提供了一种带离散计数潜变量的替代方案：用负二项分布刻画过离散的脉冲式潜变量，并给出可用的KL估计与重参数化技巧，可直接替换Poisson VAE的等均值-方差假设，用于需要稀疏、离散潜表征的视觉重建与生成任务。
AToken：面向视觉的统一分词器
AToken: A Unified Tokenizer for Vision
AToken 提供了一个统一的视觉分词器，将图像、视频和3D资产编码到共享的4D潜变量空间，其纯Transformer架构和4D旋转位置编码可处理任意分辨率和时长，为多模态生成与理解任务提供了可复用的表征基础。