Tag · 2 篇
GRPO-强化学习
分布 图像编辑与可控生成1生成模型与扩散1
01 02
VIVA:基于 VLM 引导与奖励优化的指令驱动视频编辑
VIVA: VLM-Guided Instruction-Based Video Editing with Reward Optimization
把 VLM 作为指令编码器,将文本指令、首帧和参考图编码成视觉接地的指令表示,再送入扩散 Transformer 主干;并用 Edit-GRPO 以相对奖励直接优化指令遵循、内容保持与美学质量,这套「VLM 编码 + 强化学习后训练」组合可迁移到其他条件生成任务。
ThinkGen:面向视觉生成的泛化思维
ThinkGen: Generalized Thinking for Visual Generation
把 MLLM 的思维链推理作为扩散生成的指令来源,并用可分离的 GRPO 交替训练 MLLM 与 DiT,为视觉生成提供了一条可跨场景泛化的「先推理后生成」训练范式,可直接迁移到文生图、指令式编辑等条件生成任务。