Tag · 2 篇
免微调适配
分布 视觉语言模型1图像编辑与可控生成1
01 02
看清且自信推理：面向视觉语言模型盲区的即插即用补救方案
Seeing Clearly, Reasoning Confidently: Plug-and-Play Remedies for Vision Language Model Blindness
提出一种免微调的即插即用模块：用视觉基础模型先验加同义词增强文本学出稀有物体的多模态类别嵌入，再用轻量注意力模块精炼 VLM 的视觉 token，并把嵌入当作物体感知检测器生成提示注入文本 prompt——这套「视觉 token 精炼 + 文本提示注入」的双路增强思路可直接迁移到任何冻结 VLM 的细粒度/长尾识别与 grounding 场景。
基础编码器即可实现偏好感知的个性化
Foundation Encoders Are All You Need for Preference-Aware Personalization
把个性化偏好注入完全放在基础编码器（文本编码器/CLIP 编码器）的表征空间里完成，不改扩散主干、不做微调，为个性化生成提供了一条可跨多个 T2I 底座复用的轻量路线；做 personalization 或 adapter 设计时可直接借鉴其「重构 transformer 编码器以融合偏好」的做法。