Tag · 15 篇
点跟踪
跟踪引导的 4D 生成:面向 3D 模型动画的基础跟踪器运动先验
Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation
将基础点跟踪器提取的稠密特征级运动先验注入多视图视频扩散模型的中间特征,并用于 4D-GS 的混合运动编码,为动态 4D 生成提供可复用的时序一致性约束手段。
TrackMAE:通过轨迹掩码与预测进行视频表征学习
TrackMAE: Video Representation Learning via Track Mask and Predict
把现成点跟踪器产生的稀疏轨迹当作显式重建目标与掩码先验,为视频自监督预训练注入细粒度运动信号;做视频表征学习或运动中心任务时,可直接复用其运动感知管状掩码与轨迹监督设计。
SceneScribe-1M:一个具有全面几何与语义标注的大规模视频数据集
SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations
该数据集同时提供相机参数、稠密深度与一致 3D 点轨迹,可直接用于训练单目深度估计、动态点跟踪与相机可控视频生成模型,并为几何感知的视频生成提供统一的监督信号与评测基准。
基于验证器引导伪标签的真实世界点跟踪
Real-World Point Tracking with Verifier-Guided Pseudo-Labeling
用元模型逐帧评估多个预训练跟踪器的预测可靠性来筛选伪标签,这一思路可直接迁移到其他缺乏真值标注的视频任务(如光流、关键点跟踪)的域自适应微调中。
MoVieS:一秒内完成运动感知的 4D 动态视角合成
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
用像素对齐的高斯原语显式监督时变运动,把外观、几何、运动统一进单一学习框架,使单目视频的 4D 重建、新视角合成与 3D 点跟踪共享同一表示;做动态场景重建或需要从视频直接导出场景流、运动分割的工作可直接复用这一表示与监督方式。
匹配每一对以跟踪每一个点:PairFormer 用于全对跟踪与视频轨迹场
Matching Every Pair to Track Every Point: PairFormer for All-Pairs Tracking and Video Trajectory Fields
PairFormer 将视频中所有帧对的密集对应关系一次性预测为全对轨迹场,这种全对跟踪的设定和 CorrBank 可学习相关银行的设计,为视频运动分析提供了新的可复用范式,可直接用于光流、点跟踪和视频编辑中的轨迹提取。
MV-TAP:在多视角视频中跟踪任意点
MV-TAP: Tracking Any Point in Multi-View Videos
把单目点跟踪扩展到多相机系统,用相机几何加跨视角注意力聚合多视角时空信息,可直接复用于多视角动态场景的轨迹估计与几何一致性建模。
MOSAIC-GS:面向复杂动态环境的高级初始化单目场景重建
MOSAIC-GS: Monocular Scene Reconstruction via Advanced Initialization for Complex Dynamic Environments
把深度、光流、动态分割与点跟踪等几何线索在初始化阶段融合,先估计初步三维动态再进入光度优化,这一「先几何初始化、后光度精修」的流程可直接迁移到单目动态 NeRF/3DGS 重建;用 Poly-Fourier 曲线对每个高斯轨迹做参数高效编码,也是动态场景紧凑表示的可复用手段。
MER-Tracker:基于多视角事件-RGB 混合相机的高速 3D 点跟踪
MER-Tracker: Towards High-Speed 3D Point Tracking via Multi-View Event-RGB Hybrid Cameras
用事件相机的高时间分辨率弥补 RGB 低帧率,通过线性插值与锚框采样在 3D 提升后融合离散 RGB 特征与连续事件特征,为高速运动下的长时 3D 点轨迹估计提供了可复用的多模态融合范式。
生成式点跟踪与预测
Generative Point Tracking and Forecasting
把点跟踪与运动预测统一为视频条件下的因果流匹配生成问题,通过切换视觉信号在跟踪与预测间切换,为长时点轨迹建模提供了可复用的生成式框架。
FreeArtGS:自由移动场景下的关节高斯泼溅
FreeArtGS: Articulated Gaussian Splatting Under Free-moving Scenario
FreeArtGS 提出了一种从自由移动的单目 RGB-D 视频中重建关节物体的新设定,利用现成的点跟踪和特征模型先验进行部件分割与关节估计,并基于 3DGS 端到端优化视觉纹理、几何与关节角度。对视觉研究者而言,其可复用的技术点包括:利用相对运动进行无监督刚性部件分割、从分割结果鲁棒恢复关节类型与轴、以及将 3DGS 扩展到关节物体的联合优化框架。
基于视觉几何Transformer的快速空间跟踪
Fast Spatial Tracking with Visual Geometry Transformer
提出一种基于前馈视觉几何Transformer的实时空间点跟踪框架,其双分支嵌入设计与交互模块可复用于其他需要全局-局部特征融合的视频理解任务,如视频目标分割与光流估计。
Complet4R:几何完整的四维重建
Complet4R: Geometric Complete 4D Reconstruction
用 decoder-only Transformer 在整段视频上做全局注意力,把其他帧可见的遮挡区域直接累积到当前帧,从而在单次前向中同时完成动态场景重建与几何补全;这一「重建即补全」的范式可迁移到动态 NeRF/高斯泼溅的遮挡补全与长时序点跟踪。
CoWTracker:以变形替代相关性的跟踪方法
CoWTracker: Tracking by Warping instead of Correlation
用基于当前跟踪估计的特征变形(warping)替代代价体做跨帧匹配,把复杂度从空间分辨率的平方降到线性,并用 Transformer 对所有轨迹做联合时空推理;做视频对应、光流或长程跟踪的工作可以直接复用这一迭代变形框架,并把它当作统一稠密点跟踪与光流估计的骨干设计。
AnthroTAP:用真实世界运动学习点跟踪
AnthroTAP: Learning Point Tracking with Real-World Motion
用 SMPL 网格顶点投影 + 光线投射遮挡判定 + 光流一致性过滤,从真实人体运动视频自动生成点跟踪伪标签,为视觉研究者提供了一条绕开昂贵人工标注、可扩展到其他可形变物体类别的真实数据监督构造思路。