端到端多任务学习

CaptionFormer：面向时空目标的统一分割、跟踪与描述

CaptionFormer: Unified Segmentation, Tracking, and Captioning for Spatio-Temporal Objects

用现成 VLM 为视频中时空定位的实体自动生成描述，把 LVIS/LV-VIS 扩成带描述的预训练数据，再用一个端到端模型联合做检测、分割、跟踪与描述；对做视频-语言任务的人，这是一条用合成字幕绕开人工标注瓶颈的可复用数据构造与预训练路线。