Tag · 3 篇
视觉提示微调
分布 视觉语言模型13D 视觉与重建1鲁棒性与安全1
01 02 03
看清且自信推理：面向视觉语言模型盲区的即插即用补救方案
Seeing Clearly, Reasoning Confidently: Plug-and-Play Remedies for Vision Language Model Blindness
提出一种免微调的即插即用模块：用视觉基础模型先验加同义词增强文本学出稀有物体的多模态类别嵌入，再用轻量注意力模块精炼 VLM 的视觉 token，并把嵌入当作物体感知检测器生成提示注入文本 prompt——这套「视觉 token 精炼 + 文本提示注入」的双路增强思路可直接迁移到任何冻结 VLM 的细粒度/长尾识别与 grounding 场景。
Online3R：基于几何基础模型的在线学习一致序列重建
Online3R: Online Learning for Consistent Sequential Reconstruction Based on Geometry Foundation Model
将轻量可学习视觉提示注入冻结的几何基础模型，并通过局部-全局自监督一致性约束在测试时在线更新，为视觉中的序列重建提供了一种无需真值的高效自适应方案。
揭示功能融合：动态提示架构中的一类新型策略后门
Exposing Functional Fusion: A New Class of Strategic Backdoor in Dynamic Prompt Architectures
揭示了动态视觉提示架构（如VPT）中一种新的后门攻击范式——功能融合，即恶意逻辑与良性任务效用紧密耦合于同一稀疏参数核心，导致剪枝防御必然破坏良性性能；这对设计鲁棒的参数高效微调方法和防御策略具有直接启发。