奖励引导优化

分数末端的偏差

Bias at the End of the Score

对做 T2I 生成与奖励引导优化（如 RLHF/DRaFT 类微调、数据集筛选）的研究者，这篇审计提示：奖励模型本身携带人口统计偏差，用它做监督信号会系统性地放大性别/种族刻板印象并压缩多样性；在搭建奖励反馈管线时，应把奖励模型的偏差审计与去偏作为必要环节，而非只关注 reward hacking 与模式坍塌。