Tag · 2 篇
注意力图
分布 鲁棒性与安全1视觉语言模型1
01 02
迈向鲁棒的 Vision Transformer：路径依赖分析与一种简单的两阶段对抗训练
Towards Robust Vision Transformers: Path Dependency Analysis and a Simple Two-Stage Adversarial Training
论文提出的梯度路径掩码（GPM）分析工具可用于定位 ViT 中向对抗样本泄露信息的残差路径，而两阶段对抗训练方案可直接套用到任意 ViT 变体上，在提升鲁棒性的同时不牺牲泛化；此外，论文关于对抗训练后的 ViT 在浅层更依赖全局而非局部关系的发现，为设计 ViT 专用（而非 CNN 混合）架构提供了依据。
Blink：面向增强多模态理解的动态视觉词元分辨率
Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding
提出基于注意力图的逐层显著性估计与 TokenSR 超分扩展机制，可在单次前向中动态为显著视觉词元分配更多计算，是一种可插拔的视觉词元分辨率调度思路，可迁移到其他 MLLM 的视觉编码与推理加速场景。