梯度路径分析

迈向鲁棒的 Vision Transformer：路径依赖分析与一种简单的两阶段对抗训练

Towards Robust Vision Transformers: Path Dependency Analysis and a Simple Two-Stage Adversarial Training

论文提出的梯度路径掩码（GPM）分析工具可用于定位 ViT 中向对抗样本泄露信息的残差路径，而两阶段对抗训练方案可直接套用到任意 ViT 变体上，在提升鲁棒性的同时不牺牲泛化；此外，论文关于对抗训练后的 ViT 在浅层更依赖全局而非局部关系的发现，为设计 ViT 专用（而非 CNN 混合）架构提供了依据。