Tag · 6 篇
奖励黑客
成为噪声是什么体验？一种面向扩散模型的基于熵的高斯噪声正则化
What Is It Like to Be a Noise? An Entropy-based Gaussian Noise Regularization for Diffusion Models
为扩散模型潜变量的推理时优化提供一个可单样本计算的「高斯性」正则项，可直接插入现有 latent optimization / 引导式编辑流程，缓解伪影与奖励黑客问题。
PromptLoop：基于潜变量反馈的即插即用提示词精炼框架，用于扩散模型对齐
PromptLoop: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment
把提示词精炼做成逐步闭环的 RL 策略：用 MLLM 读取扩散模型中间潜变量并逐步改写提示词，从而在不改权重的前提下实现奖励对齐，可直接迁移到文生图/编辑的偏好优化与少步采样场景。
JarvisEvo：面向协同编辑器-评估器优化的自进化照片编辑智能体
JarvisEvo: Towards a Self-Evolving Photo Editing Agent with Synergistic Editor-Evaluator Optimization
把交错多模态思维链（iMCoT）与编辑器-评估器协同策略优化（SEPO）引入图像编辑智能体，为视觉研究者提供一种无需外部奖励模型即可自我改进、并缓解奖励黑客的可复用训练范式；同时其保真型/生成型编辑双工具集成与 ArtEdit-Bench 评测协议可直接用于评估编辑中的像素级保真度。
GDRO：适用于扩散模型的组级奖励后训练
GDRO: Group-level Reward Post-training Suitable for Diffusion Models
对做扩散/整流流模型奖励对齐的人，GDRO 给出一个可复用的后训练范式：用组级奖励构造完全离线的目标，省掉在线图像采样 rollout，并摆脱 ODE-to-SDE 近似对随机采样器的依赖；同时提出把奖励黑客趋势纳入评测的修正分数，可直接用于评估任何 RL 微调的文生图模型。
Flash-DMD：以高效蒸馏与联合强化学习实现高保真少步图像生成
Flash-DMD: Towards High-Fidelity Few-Step Image Generation with Efficient Distillation and Joint Reinforcement Learning
把持续进行的时间步蒸馏损失当作正则项与 RL 目标联合训练，可稳定少步扩散模型的偏好微调并抑制奖励黑客；该联合训练范式可直接迁移到任何需要人类偏好对齐的少步图像生成器。
少做多得：扩散模型强化学习微调需要每一步优化吗？
Do Less, Achieve More: Do We Need Every-Step Optimization for RL Fine-tuning of Diffusion Models?
提出一种自适应确定RL微调最佳时间窗口的插件方法，可减少计算成本并提升生成质量，为扩散模型RL微调提供高效策略。