EgoEdit：面向第一人称视频编辑的数据集、实时流式模型与基准
EgoEdit: Dataset, Real-Time Streaming Model, and Benchmark for Egocentric Video Editing
面向第一人称视频的指令引导编辑，核心可复用点是「保留手部与手物交互区域」的编辑约束设计，以及单卡实时流式推理管线；做视频编辑或 AR 交互生成的研究者可直接借鉴其数据构造与手部保持评测协议。
原文依据 an instruction-following egocentric video editor that supports real-time streaming inference on a single GPU
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论本文研究面向交互式 AR 应用的第一人称视频指令引导编辑。现有 AI 视频编辑器在第三人称素材上表现良好，但第一人称视角带来独特挑战——包括快速的自运动与频繁的手物交互——从而形成显著的域间差距。此外，现有离线编辑流程延迟高，限制了实时交互。为解决这些问题，我们提出一套完整的第一人称视频编辑生态。首先，我们构建 EgoEditData，这是一个经过精心设计与人工筛选、专为第一人称编辑场景打造的数据集，具有丰富的手物交互，并显式地保留手部。其次，我们开发 EgoEdit，一个遵循指令的第一人称视频编辑器，支持在单块 GPU 上进行实时流式推理。最后，我们提出 EgoEditBench，一个评测套件，针对指令忠实度、手部与交互保持性，以及自运动下的时序稳定性进行评估。在第一人称与通用编辑任务上，EgoEdit 均能产生时序稳定、忠实于指令的结果，并具备交互级延迟。它在现有方法难以应对的第一人称编辑基准上取得明显提升，同时在通用编辑任务上保持与最强基线相当的性能。EgoEditData 与 EgoEditBench 将向研究社区公开。
英文原文摘要 1420 字符
We study instruction-guided editing of egocentric videos for interactive AR applications. While recent AI video editors perform well on third-person footage, egocentric views present unique challenges -- including rapid egomotion, and frequent hand-object interactions -- that create a significant domain gap. Moreover, existing offline editing pipelines suffer from high latency, limiting real-time interaction.To address these issues, we present a complete ecosystem for egocentric video editing. First, we construct EgoEditData, a carefully designed and manually curated dataset specifically designed for egocentric editing scenarios, featuring rich hand-object interactions, while explicitly preserving hands. Second, we develop EgoEdit, an instruction-following egocentric video editor that supports real-time streaming inference on a single GPU. Finally, we introduce EgoEditBench, an evaluation suite targeting instruction faithfulness, hand and interaction preservation, and temporal stability under egomotion.Across both egocentric and general editing tasks, EgoEdit produces temporally stable, instruction-faithful results with interactive latency. It achieves clear gains on egocentric editing benchmarks--where existing methods struggle--while maintaining performance comparable to the strongest baselines on general editing tasks. EgoEditData and EgoEditBench will be made public for the research community.