Tag · 3 篇
奖励攻击
01 02 03
通过空文本嵌入优化实现文本到图像扩散模型的测试时对齐
Test-Time Alignment of Text-to-Image Diffusion Models via Null-Text Embedding Optimisation
把测试时对齐的作用点从潜变量或噪声改到无分类器引导的无条件文本嵌入上，利用文本嵌入空间的语义结构约束优化轨迹，可直接复用到任何需要奖励微调或偏好对齐的扩散采样流程中，并缓解奖励攻击。
SoliReward：缓解视频生成奖励模型对奖励攻击与标注噪声的敏感性
SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models
为视频生成模型的偏好对齐提供了一套可复用的奖励模型训练范式：用单条二值标注加跨提示配对构造偏好数据，用分层渐进查询注意力聚合特征，并改造 BT 损失以容纳平局样本、正则化正样本分数分布，从而缓解奖励攻击；做视频生成后训练或构建 VLM 奖励模型时可直接借鉴这套数据与损失设计。
面向扩散模型的奖励锐度感知微调
Reward Sharpness-Aware Fine-Tuning for Diffusion Models
针对扩散模型 RLHF 微调中的奖励攻击问题，提出用参数扰动与样本扰动构造平坦化奖励模型的梯度，无需重训奖励模型即可提升生成质量与奖励对齐的可靠性，可直接嵌入现有扩散强化学习流程。