EasyV2V：一个高质量的基于指令的视频编辑框架
EasyV2V: A High-quality Instruction-based Video Editing Framework
论文表明预训练文生视频模型本身具备编辑能力，仅需简单的序列拼接条件与轻量低秩适配微调即可训练强编辑模型，并统一掩码机制实现时空控制，为视频编辑提供可复用的简洁设计范式。
原文依据 Simple sequence concatenation for conditioning with light LoRA fine-tuning suffices to train a strong model.
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论尽管图像编辑发展迅速，视频编辑仍探索不足，面临一致性、控制和泛化方面的挑战。我们研究了数据、架构和控制的设计空间，并提出了EasyV2V，一个简单有效的基于指令的视频编辑框架。在数据方面，我们通过快速反演组合现有专家来构建多样化的视频对，通过单帧监督和具有共享仿射运动的伪对将图像编辑对提升为视频，挖掘密集描述片段以获取视频对，并添加过渡监督以教授编辑如何展开。在模型方面，我们观察到预训练的文本到视频模型具备编辑能力，从而启发了简化的设计。简单的序列拼接用于条件化，配合轻量低秩适配微调，足以训练一个强大的模型。在控制方面，我们通过单一掩码机制统一时空控制，并支持可选的参考图像。总体而言，EasyV2V支持灵活的输入，例如视频+文本、视频+掩码+文本、视频+掩码+参考+文本，并取得了最优的视频编辑结果，超越了同期和商业系统。
英文原文摘要 1150 字符
While image editing has advanced rapidly, video editing remains less explored, facing challenges in consistency, control, and generalization.We study the design space of data, architecture, and control, and introduce EasyV2V, a simple and effective framework for instruction-based video editing. On the data side, we compose existing experts with fast inverses to build diverse video pairs, lift image edit pairs into videos via single-frame supervision and pseudo pairs with shared affine motion, mine dense-captioned clips for video pairs, and add transition supervision to teach how edits unfold.On the model side, we observe that pretrained text-to-video models possess editing capability, motivating a simplified design. Simple sequence concatenation for conditioning with light LoRA fine-tuning suffices to train a strong model.For control, we unify spatiotemporal control via a single mask mechanism and support optional reference images.Overall, EasyV2V works with flexible inputs, e.g., video+text, video+mask+text, video+mask+reference+text, and achieves state-of-the-art video editing results, surpassing concurrent and commercial systems.