Tag · 3 篇
梯度归因
分布 视觉语言模型2鲁棒性与安全1
01 02 03
通过免训练奖励归因解锁词元奖励
Unlocking Token Rewards via Training-Free Reward Attribution
对做多模态大模型推理（如 MathVista 上的视觉数学推理）的研究者，这篇给出了一个免训练、单次前向+反向即可从现有 PRM 中提取词元级奖励的方法，可直接替换 RL 微调中的结果奖励做更细粒度的信用分配，无需再训练奖励模型。
基于梯度自反思的多模态幻觉缓解
Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection
用一阶泰勒梯度估计每个视觉 token 与文本 token 对当前输出的贡献，从而在解码时抑制虚假视觉特征并重新平衡跨模态贡献；这是一种无需训练、无需辅助模型的推理期去幻觉手段，可直接套用到任意 MLLM 的解码环节。
基于训练数据的图像离群点合成
Image-based Outlier Synthesis With Training Data
提出一种无需外部数据的虚拟离群点合成方法：通过向ID输入添加梯度归因值来破坏不变特征并放大真实类logit，生成近流形离群点，可用于提升细粒度分类和虚假相关场景下的OOD检测鲁棒性。