Tag · 4 篇

人类反馈强化学习

分布生成模型与扩散1图像编辑与可控生成1视觉语言模型1底层视觉与图像复原1

Taming Preference Mode Collapse via Directional Decoupling Alignment in Diffusion Reinforcement Learning

针对文生图扩散模型做 RLHF 时出现的偏好模式坍缩（奖励黑客）问题，提出在奖励模型嵌入空间中学习一个方向性修正并作用于奖励信号，可直接用于任何基于奖励优化的扩散微调流程以保住生成多样性；配套的 DivGenBench 也提供了衡量多样性坍缩的评测手段。

HP-Edit: A Human-Preference Post-Training Framework for Image Editing

用预训练 VLM 加少量人工偏好打分训练自动评分器，再把它同时当作偏好数据构造器和 RL 奖励函数，为扩散/流式图像编辑模型做后训练对齐；这套「VLM 评分器 + 偏好奖励」的流程可直接迁移到超分、去噪、视频生成等任何缺少可微目标的视觉生成任务。

Building a Precise Video Language with Human-AI Oversight

提出以「批判式人机协同」替代全人工写描述：模型先出预描述，专家只写纠错批判，再把批判与前后描述偏好用 SFT/DPO/推理时扩展训练开源 VLM，可直接迁移到任何需要高质量细粒度视频/图像描述数据的视觉任务。

Bridging Human Evaluation to Infrared and Visible Image Fusion

将人类主观偏好通过强化学习（GRPO）引入红外与可见光图像融合，提供了一套可复用的「人类反馈数据集构建+奖励模型训练+策略优化」范式，可迁移到其他低层视觉任务（如超分、去噪）以对齐人类感知。