Tag · 7 篇
视频编辑
Refacade:使用给定参考纹理编辑物体
Refacade: Editing Object with Given Reference Texture
提出基于配对3D网格渲染训练纹理移除器,并结合拼图置换破坏参考图全局布局,实现从参考物体到目标物体的局部纹理迁移;该解耦思路可复用于视频编辑中的外观控制与结构保持。
RecEdit-Drive:面向自动驾驶场景的3D重建引导时空视频编辑
RecEdit-Drive: 3D Reconstruction-Guided Spatiotemporal Video Editing for Autonomous Driving Scenes
利用3D重建得到的背景结构作为扩散去噪早期的参考,并通过空间特征变形约束动态前景物体的编辑,为视频编辑中保持动态3D对象时空一致性提供了可复用的思路。
PropFly:借助预训练视频扩散模型的在线监督学习传播
PropFly: Learning to Propagate via On-the-Fly Supervision from Pre-trained Video Diffusion Models
利用预训练视频扩散模型在不同 CFG 尺度下的一步干净潜变量估计,在线构造源/编辑潜变量对,从而免去成对视频编辑数据集;这一在线监督思路可直接迁移到其他需要成对数据的视频编辑或可控生成任务中。
NOVA:稀疏控制与稠密合成的无配对视频编辑
NOVA: Sparse Control, Dense Synthesis for Pair-Free Video Editing
用稀疏用户编辑关键帧提供语义引导、稠密分支从原视频持续注入运动与纹理,配合退化模拟训练摆脱配对数据,可直接迁移到无配对视频编辑与长视频时序一致性建模。
FFP-300K:扩展首帧传播以实现可泛化的视频编辑
FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing
提出无需运行时引导的首帧传播视频编辑框架,其 AST-RoPE 通过动态重映射位置编码解耦外观与运动参考,可迁移到任何以首帧为条件的视频生成/编辑模型;同时 300K 高质量视频对数据集为训练鲁棒时序先验提供了数据基础。
EasyV2V:一个高质量的基于指令的视频编辑框架
EasyV2V: A High-quality Instruction-based Video Editing Framework
论文表明预训练文生视频模型本身具备编辑能力,仅需简单的序列拼接条件与轻量低秩适配微调即可训练强编辑模型,并统一掩码机制实现时空控制,为视频编辑提供可复用的简洁设计范式。
通过异构缓存加速基于扩散的视频编辑:超越在采样去噪时间步上的全量计算
Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep
对做视频扩散编辑的人,HetCache 提供了一种免训练、可插拔的 DiT 推理加速手段:按空间先验把时空 token 分为上下文 token 与生成 token,只缓存与生成 token 相关性最强的上下文 token,从而跳过冗余注意力计算,可直接套用到 MV2V 类编辑管线以降低延迟与浮点运算量。