Tag · 1 篇
Reward Sharpness-Aware Fine-Tuning for Diffusion Models
针对扩散模型 RLHF 微调中的奖励攻击问题,提出用参数扰动与样本扰动构造平坦化奖励模型的梯度,无需重训奖励模型即可提升生成质量与奖励对齐的可靠性,可直接嵌入现有扩散强化学习流程。