Tag · 5 篇
VQ-VAE
SceMoS:以几何接地词表规划的场景感知三维人体运动合成
SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens
用 BEV 渲染图 + DINOv2 特征替代点云/体素做场景编码,并用局部高度图训练条件 VQ-VAE 分词器把表面物理嵌入离散词表——这套「2D 场景线索接地 3D 交互」的因子化思路可直接迁移到人体-场景交互、导航与具身动作生成中,显著降低场景编码参数量。
MoEActok:面向视觉-语言-动作模型的基于混合专家的动作分词器
MoEActok: A MoE-based Action Tokenizer for Vision-Language-Action Models
对做视觉-语言-动作模型的研究者,这篇提供了用聚类驱动的 MoE 量化器把连续动作分块离散化成技能感知 token 的方案,可直接替换 VLA 中单一动作分词器,缓解多技能轨迹上的优化折中,并给出仿真与真机零样本迁移的评测设定。
极低码率下基于多模态侧信息的分布式图像压缩
Distributed Image Compression with Multimodal Side Information at Extremely Low Bitrates
将文本侧信息作为条件注入扩散解码器,并用多模态细粒度对齐任务监督特征掩码生成,为极低码率下的图像压缩与复原提供了可复用的多模态条件控制思路。
我们能构建而非分类场景图吗?FlowSG:基于流匹配的渐进式图像条件场景图生成
Can We Build Scene Graphs, Not Classify Them? FlowSG: Progressive Image-Conditioned Scene Graph Generation with Flow Matching
把流匹配从图像生成迁移到结构化图输出:用连续速度场搬运框几何、用离散流更新类别 token,为视觉中「结构化预测当作生成任务」提供了可复用的混合离散-连续生成范式,且可插拔到现有检测器/分割器上。
AceTone:连接文字与色彩的条件图像分级
AceTone: Bridging Words and Colors for Conditional Image Grading
将颜色分级建模为生成3D-LUT token序列的任务,利用VQ-VAE压缩LUT并用视觉语言模型预测,为图像编辑提供了一种可复用的、语言驱动的全局颜色变换范式。