视觉词元重加权

动态词元重加权：面向鲁棒视觉语言模型

Dynamic Token Reweighting for Robust Vision-Language Models

对做视觉语言模型安全的研究者，这篇给出了一个无需额外训练、不改图像输入的推理时防御手段：通过优化 KV 缓存动态调整视觉词元权重，可直接插到现有 VLM 的推理流程里，用来抵御对抗性视觉输入，同时保持正常任务性能。