Tag · 6 篇
激活引导
面向视觉语言模型越狱防御的零空间投影原则性引导
Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models
把零空间投影引入激活引导:在良性子空间内保持零扰动、仅在潜在有害方向上诱导拒答,为视觉语言模型的推理期安全对齐提供了一个可复用、有理论保证的干预手段,可直接迁移到其他多模态模型的安全加固。
词典对齐的概念控制:面向多模态大语言模型的安全防护
Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs
对做多模态视觉语言模型的人,这篇给出了一个推理时无需重训的激活干预方案:用图像-描述刺激构建的概念词典初始化 SAE,并对 SAE 原子自动语义标注,从而在冻结模型上做细粒度概念级引导,可直接迁移到视觉模型的安全对齐或概念编辑。
通过因果发现与双模态安全子空间投影诊断并修复视觉语言模型中的不安全通道
Diagnosing and Repairing Unsafe Channels in Vision-Language Models via Causal Discovery and Dual-Modal Safety Subspace Projection
提供了一套可复用的诊断-修复范式:先用因果中介分析定位导致不安全行为的神经元与层,再通过广义特征分解在良性与恶意激活之间学习视觉/文本双模态安全子空间,并在推理时动态投影激活。做多模态安全对齐或激活引导的研究者可直接借用该子空间构造与混合融合机制来抑制不安全特征而不损伤语义保真度。
DSO:面向偏见缓解的直接引导优化
DSO: Direct Steering Optimization for Bias Mitigation
对做 VLM 公平性与推理时可控生成的人,这篇给出了一个可复用的手段:用强化学习直接优化激活空间中的线性引导向量,而不是依赖人工设定的启发式方向,从而在推理阶段按需调节公平性与能力的权衡。
注意力,能否告诉我你的决定?定位扩散模型中的生成性选择
Attention, May I Have Your Decision? Localizing Generative Choices in Diffusion Models
用基于探针的属性可分性定位扩散模型中隐式决策发生的层,并据此只对少量自注意力层做定向干预;这套「先定位再干预」的流程可直接迁移到视觉生成中的属性去偏、概念编辑与生成可控性研究。
ARGUS:通过引导指令遵循行为防御多模态间接提示词注入
ARGUS: Defending Against Multimodal Indirect Prompt Injection via Steering Instruction-Following Behavior
对做多模态大模型视觉侧安全的人,这篇给出了一个与模态无关的表征空间干预手段:在指令遵循子空间内搜索与效用退化方向解耦的引导方向,并配合自适应强度与按需触发的轻量检测,可直接迁移到图像/视频输入下的越狱与注入防御。