Tag · 2 篇
合成数据构建
01 02
VIVA：基于 VLM 引导与奖励优化的指令驱动视频编辑
VIVA: VLM-Guided Instruction-Based Video Editing with Reward Optimization
把 VLM 作为指令编码器，将文本指令、首帧和参考图编码成视觉接地的指令表示，再送入扩散 Transformer 主干；并用 Edit-GRPO 以相对奖励直接优化指令遵循、内容保持与美学质量，这套「VLM 编码 + 强化学习后训练」组合可迁移到其他条件生成任务。
MoCha：无需结构引导的端到端视频角色替换
MoCha: End-to-End Video Character Replacement without Structural Guidance
把视频扩散模型自身的时序跟踪能力当作隐式结构先验，从而摆脱逐帧掩码与骨架/深度等显式结构引导，只需单帧任意掩码即可完成角色替换；条件感知 RoPE 与 RL 后训练可迁移到其他多模态条件注入的身份保持生成任务。