Tag · 7 篇
推理时干预
文化何处褪色：揭示文本到图像生成中的文化鸿沟
Where Culture Fades: Revealing the Cultural Gap in Text-to-Image Generation
提出一种通过定位文化敏感神经元并在推理时放大或选择性微调相关层来提升多语言T2I模型文化一致性的方法，为可控生成提供神经元级干预思路。
面向推理保持的多模态大语言模型遗忘
Towards Reasoning-Preserving Unlearning in Multimodal Large Language Models
提出一种无需训练、在推理时通过子空间引导和自适应转向来遗忘答案与推理痕迹的方法，可复用于多模态大模型的安全对齐与隐私保护，同时保持通用推理能力。
词典对齐的概念控制：面向多模态大语言模型的安全防护
Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs
对做多模态视觉语言模型的人，这篇给出了一个推理时无需重训的激活干预方案：用图像-描述刺激构建的概念词典初始化 SAE，并对 SAE 原子自动语义标注，从而在冻结模型上做细粒度概念级引导，可直接迁移到视觉模型的安全对齐或概念编辑。
CausalLens：敏感度引导的多头因果干预用于大型视觉语言模型幻觉缓解
CausalLens: Sensitivity-Guided Multi-Head Causal Intervention for Hallucination Mitigation in Large Vision-Language Models
提出一种免训练、单次前向的推理时干预：按视觉、文本、系统提示词三条通路分解注意力头，用敏感度度量挑出视觉可靠的注意力头并调整其中层隐状态贡献，再以投影对齐校正稳定多头融合后的状态。做 LVLM 幻觉缓解或视觉 grounding 的研究者可直接复用这套注意力头级敏感度分析与隐状态校正流程，替代多遍/对比解码以降低延迟。
超越成功：通过即时干预从混合质量数据中精炼优雅的机器人操作
Beyond Success: Refining Elegant Robot Manipulation from Mixed-Quality Data via Just-in-Time Intervention
提出一种与基础 VLA 策略解耦的「优雅性评论家」加推理时按需干预机制：用离线校准 Q 学习估计候选动作的执行质量，仅在评论家置信度低的决策关键点介入。做 VLA 策略后处理、动作质量重排序或推理时对齐的视觉研究者可直接复用该「评论家+选择性干预」范式，无需重训大模型。
对齐视觉语言模型所见与所感：自适应信息流
Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow
提出一种基于词元动态的视觉词元重要性度量，在解码阶段抑制文本词元对无关视觉词元的注意力，可作为即插即用的推理时干预手段，用于提升 VLM 的视觉定位与抗幻觉能力。
AdaIAT：自适应增强对生成文本的注意力以缓解 LVLM 中的幻觉
AdaIAT: Adaptively Increasing Attention to Generated Text to Alleviate Hallucinations in LVLM
提供了一种无需训练的推理时注意力干预手段：在解码时放大对已生成文本 token 的注意力权重，并按层阈值与注意力头粒度自适应调节，可直接插入 LLaVA 等 LVLM 的解码流程以降低幻觉且不引入重复描述。