Tag · 5 篇

VQ-VAE

分布 3D 视觉与重建1强化学习与具身智能1底层视觉与图像复原1生成模型与扩散1图像编辑与可控生成1
01
3D 视觉与重建 / CVPR2026

SceMoS:以几何接地词表规划的场景感知三维人体运动合成

SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens

用 BEV 渲染图 + DINOv2 特征替代点云/体素做场景编码,并用局部高度图训练条件 VQ-VAE 分词器把表面物理嵌入离散词表——这套「2D 场景线索接地 3D 交互」的因子化思路可直接迁移到人体-场景交互、导航与具身动作生成中,显著降低场景编码参数量。

人体运动合成VQ-VAE鸟瞰图表示
02
强化学习与具身智能 / CVPR2026

MoEActok:面向视觉-语言-动作模型的基于混合专家的动作分词器

MoEActok: A MoE-based Action Tokenizer for Vision-Language-Action Models

对做视觉-语言-动作模型的研究者,这篇提供了用聚类驱动的 MoE 量化器把连续动作分块离散化成技能感知 token 的方案,可直接替换 VLA 中单一动作分词器,缓解多技能轨迹上的优化折中,并给出仿真与真机零样本迁移的评测设定。

动作分词器混合专家VQ-VAE
03
底层视觉与图像复原 / CVPR2026

极低码率下基于多模态侧信息的分布式图像压缩

Distributed Image Compression with Multimodal Side Information at Extremely Low Bitrates

将文本侧信息作为条件注入扩散解码器,并用多模态细粒度对齐任务监督特征掩码生成,为极低码率下的图像压缩与复原提供了可复用的多模态条件控制思路。

分布式图像压缩扩散模型多模态侧信息
04
生成模型与扩散 / CVPR2026

我们能构建而非分类场景图吗?FlowSG:基于流匹配的渐进式图像条件场景图生成

Can We Build Scene Graphs, Not Classify Them? FlowSG: Progressive Image-Conditioned Scene Graph Generation with Flow Matching

把流匹配从图像生成迁移到结构化图输出:用连续速度场搬运框几何、用离散流更新类别 token,为视觉中「结构化预测当作生成任务」提供了可复用的混合离散-连续生成范式,且可插拔到现有检测器/分割器上。

流匹配VQ-VAE图-Transformer
05
图像编辑与可控生成 / CVPR2026

AceTone:连接文字与色彩的条件图像分级

AceTone: Bridging Words and Colors for Conditional Image Grading

将颜色分级建模为生成3D-LUT token序列的任务,利用VQ-VAE压缩LUT并用视觉语言模型预测,为图像编辑提供了一种可复用的、语言驱动的全局颜色变换范式。

3D-LUTVQ-VAE视觉语言模型