Tag · 4 篇
残差向量量化
SAMTok：用两个词表示任意掩码
SAMTok: Representing Any Mask with Two Words
把任意区域掩码离散化为两个 token，使基础 MLLM 无需改架构、无需专用分割解码器即可用标准下一词预测和 RL 获得像素级理解与生成能力；做区域级 VLM、grounding 或交互式分割的工作可直接复用该掩码分词方案与文本答案匹配奖励。
多层次因果大语言模型驱动的文本到动作生成与人类对齐
Multi-level Causal LLM-based Text-to-Motion Generation with Human Alignment
把动作序列当作离散词元、用因果 RVQ-VAE 加时间滞后因果预测来做多层级并行生成，这套「离散词元 + 因果 LLM + 偏好对齐」的组合可直接迁移到视频/动作序列的生成式建模；同时发布的 HumanML3D-R 偏好数据集为动作生成提供了可复用的对齐评测资源。
面向视频到语音生成的层级编解码扩散模型
Hierarchical Codec Diffusion for Video-to-Speech Generation
把 RVQ 编解码器的层级结构直接映射为扩散 Transformer 的低层/高层 block，并用唇动、身份、表情分别条件化不同层级，这种「按 token 层级分配视觉条件」的做法可迁移到其他跨模态生成任务（如视频到动作、面部到语音）。
AutoCut：基于多模态离散化与可控生成的端到端广告视频编辑
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
把视频、音频用残差向量量化离散成与文本对齐的统一词元，再用多模态大语言模型自回归预测词元序列来驱动视频剪辑与生成，为视觉研究者提供了一条「离散词元 + 语言模型」做长视频可控编辑的可复用路线。