图像分割 · CVPR2026 ·2026.06.03

以场景为中心的无监督视频全景分割

Scene-Centric Unsupervised Video Panoptic Segmentation

Christoph Reich、Oliver Hahn、Nikita Araslanov、Laura Leal-Taixé、Christian Rupprecht、Daniel Cremers 等 7 人

与你有关的部分

利用无监督深度、光流与视觉线索从场景视频中生成时序一致的全景伪标签,并用 Video DropLoss 训练,为无标注视频的密集预测提供了一套可复用的伪标签构建与评测协议。

原文依据 VideoCUPS generates temporally consistent panoptic video pseudo-labels from scene-centric videos by exploiting unsupervised depth, motion, and visual cues.
可迁移到 视频全景分割无监督全景分割视频实例分割伪标签生成

摘要译文

由模型翻译 · 术语统一 · 请对照原文核对关键结论

视频全景分割(VPS)旨在联合检测、分割并跟踪所有对象,同时将视频划分为语义一致的区域。我们引入了无监督 VPS 的任务设定,完全省略任何人工监督。现有的无监督场景理解工作主要集中于图像分割任务;视频领域仍未被充分探索。我们提出 VideoCUPS,首个无监督 VPS 方法。VideoCUPS 通过利用无监督的深度、运动与视觉线索,从以场景为中心的视频中生成时序一致的全景视频伪标签。使用一种新颖的 Video DropLoss 在这些伪标签上训练,可得到一个准确的无监督 VPS 模型。为便于衡量进展,我们引入了一套全面的评测协议和四个具有竞争力的基准方法,将最优的无监督全景图像分割与视频实例分割模型扩展到 VPS。VideoCUPS 优于所有基准方法,并展现出强大的标签高效学习能力。借助 VideoCUPS、我们的评测协议与基准方法,我们为无监督 VPS 的未来研究提供了坚实的基础。

英文原文摘要 1110 字符

Video panoptic segmentation (VPS) aims to jointly detect, segment, and track all objects while partitioning the video into semantically consistent regions. We introduce the task setting of unsupervised VPS, omitting any human supervision. Existing unsupervised scene understanding works mainly focused on image segmentation tasks; the video domain remains underexplored. We propose VideoCUPS, the first unsupervised VPS approach. VideoCUPS generates temporally consistent panoptic video pseudo-labels from scene-centric videos by exploiting unsupervised depth, motion, and visual cues. Training on these pseudo-labels using a novel Video DropLoss yields an accurate, unsupervised VPS model. To benchmark progress, we introduce a comprehensive evaluation protocol and four competitive baselines, extending state-of-the-art unsupervised panoptic image and instance video segmentation models to VPS. VideoCUPS outperforms all baselines and demonstrates strong label-efficient learning. With VideoCUPS, our evaluation protocol, and baselines, we provide a strong foundation for future research on unsupervised VPS.

标签

会议 CVPR2026
页码 10753-10765
Bibkey
来源 CVF Open Access