类别嵌入

看清且自信推理：面向视觉语言模型盲区的即插即用补救方案

Seeing Clearly, Reasoning Confidently: Plug-and-Play Remedies for Vision Language Model Blindness

提出一种免微调的即插即用模块：用视觉基础模型先验加同义词增强文本学出稀有物体的多模态类别嵌入，再用轻量注意力模块精炼 VLM 的视觉 token，并把嵌入当作物体感知检测器生成提示注入文本 prompt——这套「视觉 token 精炼 + 文本提示注入」的双路增强思路可直接迁移到任何冻结 VLM 的细粒度/长尾识别与 grounding 场景。