Tag · 4 篇

对抗微调

分布鲁棒性与安全3图像编辑与可控生成1

VisiLock: Authorizing Instruction-based Image editing with Dual Score Distillation

提出将访问控制内嵌到扩散模型权重中的双教师分数蒸馏框架，为视觉生成模型的知识产权保护提供了一种可抵抗对抗微调的权重锁定方案，可复用于其他条件生成模型的授权控制。

High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning

把身份条件与属性条件解耦注入、先保身份再微调属性对齐的两阶段条件控制思路，可直接迁移到任何人脸编辑/换脸扩散模型中，用于缓解多条件冲突；后训练阶段加入身份损失与对抗损失做精修的做法也可复用到其他身份保持生成任务。

Hierarchically Robust Zero-shot Vision-language Models

把类别层级结构（父类-叶类）引入对抗微调，用层次化嵌入与多层级图文对齐同时提升自然性能与对抗鲁棒性；对做 VLM 鲁棒微调、开放词表分类的人，这是一个可直接复用的对齐框架，并给出嵌入深度与最大间隔尺寸的理论联系。

AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models

提出用原始模型软预测做文本引导的对抗微调，并用温度缩放分布一致性校准保持跨模态对齐，可直接迁移到CLIP类模型的对抗鲁棒性提升。