Tag · 4 篇

语义聚类

分布视觉语言模型2高效模型与推理加速1生成模型与扩散1

Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment

用语义感知聚类把视频帧特征压缩成一组 3D 代理 token 替代像素对齐的视觉序列，为 VLM 提供紧凑且具空间一致性的视觉输入；做 3D 空间推理或多模态大模型视觉编码器压缩时可复用这一「聚类成代理 + 多阶段对齐」范式。

Enhancing Mixture-of-Experts Specialization via Cluster-Aware Upcycling

对需要在视觉-语言预训练中把稠密 CLIP 骨干升级为 MoE 的研究者，本文给出一种可复用的初始化方案：用输入激活的语义聚类 + 截断 SVD 初始化各专家、用聚类质心初始化路由器，并配合专家集成自蒸馏稳定路由，可直接替换稀疏上采样以提升零样本/少样本迁移。

DiverseGRPO: Mitigating Mode Collapse in Image Generation via Diversity-Aware GRPO

针对GRPO微调扩散模型时出现的模式坍缩问题，提出基于语义聚类的分布级奖励和结构感知正则化，可直接用于提升文生图模型的输出多样性，同时保持生成质量。

A More Word-like Image Tokenization for MLLMs

DiVT 将图像块嵌入聚类成语义单元，使视觉词元更接近离散词元，并动态调整词元预算，为视觉-语言模型提供了一种不修改编码器与语言模型即可降低视觉词元数量与延迟的即插即用方案。