Tag · 3 篇
分词器
分布 3D 视觉与重建1自监督与表征学习1生成模型与扩散1
01 02 03
SceneTok:面向三维场景的压缩可扩散 token 空间
SceneTok: A Compressed, Diffusable Token Space for 3D Scenes
把多视角图像编码成一小撮置换不变、脱离空间网格的潜变量 token,再用轻量整流流解码器渲染新视角,为 3D 场景生成提供了比 3DGS/NeRF 更紧凑、可直接接扩散/流模型的表示接口。
读懂你的动作:通过预训练 AEMG 学习可泛化的动作表征
Reading Your Actions: Learning Generalizable Action Representations via Pre-training AEMG
把生理时序信号(EMG)当作「语言」来做自监督预训练的思路,可迁移到视觉-生理多模态(如可穿戴相机+肌电的手势/动作识别)中:用离散化分词器把连续信号转成结构词、再用掩码/语言建模目标预训练,从而获得跨设备、跨被试的零样本泛化表征。
一帧只需一个词元:用 Delta 词元进行高效生成式世界建模
A Frame is Worth One Token: Efficient Generative World Modeling with Delta Tokens
把相邻帧的 VFM 特征差压缩成单个连续 delta 词元,将视频从三维时空表示降为一维时序序列,这一分词思路可直接复用于视频预测、特征空间生成建模与高效多假设采样。