Tag · 14 篇
对抗鲁棒性
当CLIP看到更多时，它反击得更狠：面向测试时对抗鲁棒性的多视图引导自适应反击
When CLIP Sees More, It Fights Back Harder: Multi-View Guided Adaptive Counterattacks for Test-Time Adversarial Robustness
提出一种免调优的测试时多视图自适应反击框架，通过估计每个视图的损坏程度来软加权反击强度，可直接用于提升CLIP等视觉语言模型在推理阶段对抗攻击的鲁棒性。
UniGame：将统一多模态模型变为自身的对手
UniGame: Turning a Unified Multimodal Model Into Its Own Adversary
提出在共享词元接口施加轻量扰动器的自对抗后训练框架，可复用于提升任意视觉-语言统一模型的理解-生成一致性与对抗鲁棒性。
面向文本到图像扩散模型的人类不可感知后门攻击
Towards Human-Imperceptible Backdoor Attacks on Text-to-Image Diffusion Models
对做扩散模型安全与数据投毒的研究者，这篇给出了首个干净标签后门设定：图像端注入近不可感知噪声、文本端用同义替换加句法重排构造复合语义触发器，可在不破坏图文对齐的前提下植入后门并绕过商用内容过滤器，为评估生成模型供应链安全提供了新的威胁模型与防御测试基准。
鲁棒性的几何：优化损失景观曲率与特征流形对齐以实现视觉语言模型的鲁棒微调
The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models
对做 VLM 微调的人，这篇给出了一个可复用的正则化组合：用局部曲率自适应的权重扰动把优化推向平坦极小值，再加一个跨干净/对抗/OOD 输入的特征对齐损失，从而在同一个微调流程里同时保住 ID、OOD 和对抗三个轴，可直接移植到 CLIP 类模型的鲁棒微调。
SIF：面向大型视觉语言模型的语义分布内指纹
SIF: Semantically In-Distribution Fingerprints for Large Vision-Language Models
对做 LVLM 版权保护或模型溯源的研究者，SIF 给出了一条不修改参数、把文本水印信号蒸馏进视觉模态的指纹注入路径，并配套模拟最坏情况表征扰动的鲁棒优化，可直接迁移到任意 LVLM 的所有权验证与指纹隐蔽性评估。
基于时序互信息的鲁棒脉冲神经网络
Robust Spiking Neural Networks by Temporal Mutual Information
把信息瓶颈推广到时序维度，用输入与脉冲潜变量之间的互信息作为正则项来收紧鲁棒误差界；做脉冲网络或时序动态模型对抗鲁棒性的人可以直接复用这一正则化思路与理论分析框架。
RecoverMark：面向篡改人脸定位与恢复的鲁棒水印
RecoverMark: Robust Watermarking for Localization and Recovery of Manipulated Faces
把被保护的人脸内容本身当作水印嵌入背景，并配合模拟去水印攻击的失真层与渐进式两阶段训练，使水印在全局不可见攻击下仍可提取；做篡改定位/取证或需要版权与完整性保护的视觉工作可直接复用这一「内容即水印」的鲁棒嵌入范式。
ReMoE：面向对抗鲁棒视觉Transformer的区域混合专家
ReMoE: Region-Mixture Experts for Adversarially-Robust Vision Transformers
把 ViT 的 FFN 换成区域感知的多粒度专家层，并用注意力引导的 patch-to-region / region-to-patch 路由按空间位置激活专家，为对抗鲁棒性提供区域级归纳偏置；做 ViT 对抗防御或想把 MoE 用作结构先验的工作可直接复用该即插即用设计。
论时序粒度在脉冲神经网络鲁棒性中的作用
On the Role of Temporal Granularity in the Robustness of Spiking Neural Networks
提出时序粒度攻击（TG-Attack）和时序敏感度（TSV）来评估脉冲神经网络在单个时间步的鲁棒性，并设计时序粒度正则化（TG-Reg）提升整体鲁棒性，为SNN的对抗鲁棒性分析提供了细粒度工具。
通过收缩优化动力学使模型免疫于有害长时程微调
Immunizing Models Against Harmful Long-Horizon Fine-Tuning via Contractive Optimization Dynamics
为视觉基础模型（分类、生成、自回归）提供一种在发布前注入的免疫机制：通过让有害微调的优化动力学局部收缩，使攻击者即使跑数千步更新也无法有效适配有害任务，可直接用于开源视觉大模型的安全发布流程。
层次化鲁棒的零样本视觉语言模型
Hierarchically Robust Zero-shot Vision-language Models
把类别层级结构（父类-叶类）引入对抗微调，用层次化嵌入与多层级图文对齐同时提升自然性能与对抗鲁棒性；对做 VLM 鲁棒微调、开放词表分类的人，这是一个可直接复用的对齐框架，并给出嵌入深度与最大间隔尺寸的理论联系。
通过因果发现与双模态安全子空间投影诊断并修复视觉语言模型中的不安全通道
Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection
提供了一套可复用的诊断-修复范式：先用因果中介分析定位导致不安全行为的神经元与层，再通过广义特征分解在良性与恶意激活之间学习视觉/文本双模态安全子空间，并在推理时动态投影激活。做多模态安全对齐或激活引导的研究者可直接借用该子空间构造与混合融合机制来抑制不安全特征而不损伤语义保真度。
一种可证明的能量引导测试时防御方法提升大型视觉语言模型的对抗鲁棒性
A Provable Energy-Guided Test-Time Defense Boosting Adversarial Robustness of Large Vision-Language Models
ET3 提供了一种无需训练、在推理阶段即可使用的防御手段：通过对输入样本做能量最小化的测试时变换来削弱对抗扰动，可直接套用到 CLIP 零样本分类以及 LVLM 的图像描述、VQA 等下游流程中，为视觉模型部署增加一层轻量防护。
噪声与双边滤波的结合在 CNN 中实现超线性且可扩展的对抗鲁棒性
A Combination of Noise and Bilateral Filters Achieve Supralinear and Scalable Adversarial Robustness in CNNs
把「高斯噪声 + 双边滤波」当作零成本前置预处理模块，可直接插到任意 CNN 或对抗训练流程前，在几乎不增加推理开销的前提下提升对 AutoAttack 等攻击的鲁棒性，为视觉模型部署提供可复用防御组件。