Tag · 3 篇
免训练检测
分布 鲁棒性与安全2视觉语言模型1
01 02 03
PAS：用于检测大型视觉语言模型中物体幻觉的预生成注意力分数
PAS: Prelim Attention Score for Detecting Object Hallucinations in Large Vision-Language Models
PAS 提供了一种无需额外前向传播、仅利用解码时对已生成 token 的注意力权重来实时检测物体幻觉的信号，可直接用于 LVLM 推理时的过滤与干预，也为分析 LVLM 的图像依赖程度提供了可复用的量化手段。
BlackMirror：基于指令-响应偏差的文本到图像模型黑盒后门检测
BlackMirror: Black-Box Backdoor Detection for Text-to-Image Models via Instruction-Response Deviation
提出一种免训练、可插拔的黑盒后门检测思路：不依赖图像级相似度，而是把生成图像中的局部语义模式与指令对齐，并在多提示下检验偏差稳定性，可直接用于 MaaS 场景下对第三方文生图模型的审计。
面向AI生成图像免训练检测的去偏重建框架
A Debiased Reconstruction-based Framework for Training-Free Detection of AI-Generated Images
对做视觉研究的人，这篇论文提供了一个可直接复用的免训练检测信号：用旋转与低通滤波增强来归一化LDM的图像级重建误差，抵消背景偏置；同时把潜变量级重建误差经旋转归一化后作为补充信号，二者统一为RDD分数，可在无检测训练数据时跨多种生成模型使用。