Tag · 7 篇

矢量量化

分布医学影像与生物视觉3生成模型与扩散2视觉语言模型1底层视觉与图像复原1

Virtual Full-stack Scanning of Brain MRI via Imputing Any Quantised Code

将任意到任意的MRI模态补全统一为区域级全栈码预测问题，利用矢量量化编码完整模态集并训练投影编码器从缺失模态预测码图，为多模态医学影像的缺失数据补全提供了可复用的两阶段框架。

SignPR: A Progressive Vector-Quantized Diffusion Framework for Sign Language Production

把 VQVAE 的离散语义表征与分块因果扩散结合，先出语义一致的整体姿态再逐步细化运动细节，这套「离散 token + 渐进细化 + 因果分块」的生成范式可迁移到人体动作生成、手势驱动和长序列姿态合成等视觉任务。

Hybrid Token Compression for Vision-Language Models

提出双通道（连续 ViT 图像块 + 离散 MGVQ 语义锚点）视觉词元压缩方案，用解耦注意力掩码与 <voco> 瓶颈把 580 个视觉词元压成 1 个，可直接用于降低任意 VLM 的视觉上下文长度与显存开销。

GeneVAR: Causal MeanFlow for Autoregressive Gene-to-WSI Tile Synthesis

把 RNA-Seq 条件通过反事实干预约束成伪影不变的自回归粗到细生成过程，可为视觉中「条件信号弱、易被染色/对比度等非语义因素劫持」的可控生成提供可复用的因果正则思路；多尺度矢量量化离散形态表示也可迁移到其他病理或遥感瓦片生成。

Differentiable Vector Quantization for Rate-Distortion Optimization of Generative Image Compression

把码本分布做可微松弛，让熵损失直接塑造潜变量先验，从而在极低码率下用轻量架构实现端到端率失真优化；这套可微信道建模思路也可迁移到其他需要离散潜变量的视觉生成/压缩流程。

CryoKRAQEN: Kernel-Regularized Annealing for Quantized Embedding Networks in Cryo-EM Heterogeneous Reconstruction

把三平面隐式表示与核引导的量化潜变量分配结合，做成无编码器的解码器框架，可迁移到其他需要从极噪、连续变化观测中恢复潜结构的逆问题（如动态场景重建、低剂量成像），其避免码本坍缩的退火式量化分配策略也值得借鉴。

CG-Floor: Centroid-Guided Diffusion for Large-Scale Floorplan Generation

用质心热图作为结构化条件引导潜扩散 Transformer 生成非曼哈顿房间形状，这种「语义质心+尺寸热图」的条件编码方式可迁移到室内场景布局、矢量图形生成等需要显式解耦位置与形状的任务。