生成多样性

通过方向解耦对齐驯服扩散强化学习中的偏好模式坍缩

Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning

针对文生图扩散模型做 RLHF 时出现的偏好模式坍缩（奖励黑客）问题，提出在奖励模型嵌入空间中学习一个方向性修正并作用于奖励信号，可直接用于任何基于奖励优化的扩散微调流程以保住生成多样性；配套的 DivGenBench 也提供了衡量多样性坍缩的评测手段。