Tag · 4 篇
积分梯度
从变换到迁移:提升视觉语言预训练模型上的对抗攻击迁移性
Transform to Transfer: Boosting Adversarial Attack Transferability on Vision-Language Pre-training Models
可学习的变换组合机制(自适应选择最优变换以最大化输入多样性)可直接迁移到任何黑盒迁移攻击流程中,替代手工固定的变换堆叠;积分梯度用于缓解对源模型的过拟合,也是提升跨模型迁移性的通用手段。
H-Sets:Hessian 引导的图像分类器集合级特征交互发现
H-Sets: Hessian-Guided Discovery of Set-Level Feature Interactions in Image Classifiers
把输入 Hessian 检测到的局部交互对递归合并成语义连贯的特征集合,再用 IDG-Vis(沿像素空间路径积分方向梯度并以 Harsanyi 分红聚合)做集合级归因,为视觉分类器提供比像素级归因更稀疏、更忠实的显著性图,可直接用于诊断模型依赖的像素组合。
面向充分必要电路的全局信息阈值化
Global Information Thresholding for Sufficient and Necessary Circuits
为视觉模型(如 ViT、CLIP 视觉编码器)的电路级机制分析提供了一套无需人工设定电路规模的阈值选取流程:先用保号积分梯度给边打分,再按行为保留准则确定全局截断点,可直接迁移到视觉 Transformer 的注意力头/MLP 电路发现与充分性-必要性评估。
面向大型视觉语言模型的细粒度训练后量化:基于量化感知积分梯度
Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients
把量化敏感度的粒度从模态级下推到词元级,用积分梯度定量衡量每个词元对量化误差的贡献,可直接迁移到任意 LVLM 的 W4A8/W3A16 部署流程中,作为校准阶段的即插即用模块。