负样本加权

面向视觉语言模型的动态感知偏好优化

Dynamics-Aware Preference Optimization for Vision-Language Models

对做 VLM 偏好微调的人，这篇给出了一个可直接套用的两阶段训练配方：先用低权重“温和负样本”做约束 SFT 压平损失面，再按模型平均每 token 对数概率自适应缩放负样本梯度，从而抑制简单负样本带来的无信息梯度；该权重设计可迁移到任意 DPO 类视觉语言对齐流程。