Tag · 7 篇
视频目标分割
TimeBridge:基于首尾联合嵌入与中间帧预测的自监督视频表征学习
TimeBridge: Self-Supervised Video Representation Learning via Start-End Joint Embedding and In-Between Frame Prediction
用首尾帧的联合嵌入加轻量解码器重建中间帧,把「时序变换建模」变成可复用的自监督预训练目标,可直接迁移到视频分割、部件传播等密集预测任务的特征初始化。
鲁棒的提示式视频目标分割
Robust Promptable Video Object Segmentation
把「记忆中的目标级表征」作为条件去门控低秩适配(LoRA 式)参数,使鲁棒化过程按被跟踪目标分别进行并保持时序一致;这套 memory-conditioned gated adaptation 可直接迁移到其他提示式视频模型(如 SAM2 类跟踪器)做测试时/轻量鲁棒适配。
RobotSeg:面向图像与视频中机器人分割的模型与数据集
RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video
把 SAM 2 改造成面向机器人本体的自动视频分割器:结构增强的记忆关联器处理关节形变,机器人提示词生成器免去人工提示,标签高效训练策略降低逐帧掩码标注需求,可直接迁移到任意需要免提示视频分割的类别。
强化视频目标分割在分割之前先思考
Reinforcing Video Object Segmentation to Think before it Segments
把 GRPO 强化学习与思维链初始化引入视频推理分割,用整体奖励同时约束空间对齐与时序一致性;对做指代分割或视频 grounding 的研究者,这是一套可直接迁移的「先推理再出掩码」训练范式,也提供了抑制 LVLM 幻觉的奖励设计思路。
用于视频分割的实时交互式训练
Live Interactive Training for Video Segmentation
LIT-LoRA 在推理时利用用户修正在线更新轻量 LoRA 模块,使视频分割模型能持续适应同一视频中的目标外观变化,为交互式视觉工具提供了一种低开销的在线自适应范式。
HanDyVQA:面向细粒度手物交互动态的视频问答基准
HanDyVQA: A Video QA Benchmark for Fine-Grained Hand-Object Interaction Dynamics
提供了一个细粒度手物交互视频问答基准,并配套物体/部件级分割掩码,可用于评测视频基础模型的时空与部件级几何推理能力;其发现「显式注入 HOI 线索到视觉特征可提升性能」为设计 HOI 感知的视频表征提供了可复用思路。
基于循环动态子模型的高效视频目标分割与跟踪
Efficient Video Object Segmentation and Tracking with Recurrent Dynamic Submodel
对需要在视频分割/跟踪中部署 SAM2 这类大模型的人,RDS 给出了一条可复用的路线:用轻量路由器基于上一帧分割掩码和当前帧特征逐帧选择子模型块,把时序信息直接注入动态剪枝决策,从而把理论计算削减转化为真实加速;I-LoRA 只微调关键块的做法也可迁移到其他大模型的高效适配。