Tag · 15 篇
合成数据集
Real2Sim2Real:用于后节眼科手术深度估计的 RetinalDepth-64K
Real2Sim2Real: RetinalDepth-64K for Depth Estimation in Posterior Segment Ophthalmic Surgery
对做单目/立体/视频深度估计的人,这是一个可复用的合成数据生成范式:用 Blender 建模解剖结构并加入折射介质与后处理,再配合时序深度方差指标评估帧间稳定性,可直接迁移到其他缺乏深度真值的显微或内窥场景。
PoseGAM:基于几何感知多视图推理的鲁棒未见物体位姿估计
PoseGAM: Robust Unseen Object Pose Estimation via Geometry-Aware Multi-View Reasoning
把多视图基础模型当作位姿回归器,用点云几何与几何表征网络特征两路注入物体几何先验,绕开显式 2D-3D 对应匹配,可直接迁移到无模板、无 CAD 模型的未见物体位姿估计与抓取场景。
匹配每一对以跟踪每一个点:PairFormer 用于全对跟踪与视频轨迹场
Matching Every Pair to Track Every Point: PairFormer for All-Pairs Tracking and Video Trajectory Fields
PairFormer 将视频中所有帧对的密集对应关系一次性预测为全对轨迹场,这种全对跟踪的设定和 CorrBank 可学习相关银行的设计,为视频运动分析提供了新的可复用范式,可直接用于光流、点跟踪和视频编辑中的轨迹提取。
MV-TAP:在多视角视频中跟踪任意点
MV-TAP: Tracking Any Point in Multi-View Videos
把单目点跟踪扩展到多相机系统,用相机几何加跨视角注意力聚合多视角时空信息,可直接复用于多视角动态场景的轨迹估计与几何一致性建模。
学习识别分布外目标以用于3D激光雷达异常分割
Learning to Identify Out-of-Distribution Objects for 3D LiDAR Anomaly Segmentation
在激光雷达特征空间中直接建模内点类分布以约束异常样本,可替代从2D视觉迁移的后处理式异常打分;同时提供的混合真实-合成激光雷达异常分割数据集可用于评测3D开放世界感知的OOD检测能力。
GazeOnce360:基于鱼眼相机的360度多人视线估计与全局-局部特征融合
GazeOnce360: Fisheye-Based 360deg Multi-Person Gaze Estimation with Global-Local Feature Fusion
把鱼眼畸变下的多人视线估计形式化为一个端到端任务,并用旋转卷积加眼部关键点监督来对抗畸变,再用全局低分辨率与局部高分辨率眼部区域的双分辨率融合保留细粒度眼睛特征;做鱼眼/广角相机下的人体或人脸分析时,这套畸变感知卷积与局部高分辨率裁剪融合可直接复用。
ForeHOI:从日常手物交互视频前馈重建三维物体
ForeHOI: Feed-forward 3D Object Reconstruction from Daily Hand-Object Interaction Videos
把 2D 掩码修复与 3D 形状补全放进同一个前馈框架联合预测,用 2D/3D 之间的信息交换解决手物严重遮挡下的物体重建,可迁移到任何被遮挡物体的单目重建与补全任务。
Event6D:基于事件相机的新物体 6D 位姿跟踪
Event6D: Event-based Novel Object 6D Pose Tracking
用事件流在深度帧之间重建稠密强度与深度,为高速运动下的 6D 位姿跟踪提供几何与光度线索;其「以最近深度为条件、双重建事件」的思路可迁移到事件相机驱动的 SLAM、抓取位姿跟踪与高速场景重建。
DepthFocus:面向透视场景的可控深度估计
DepthFocus: Controllable Depth Estimation for See-Through Scenes
把立体深度估计从静态前馈改为以物理参考深度为条件的可控计算,用双条件机制动态调制特征,可直接借鉴到透明/反射场景的多层深度恢复与意图驱动感知。
连续曝光时间建模用于真实大气湍流合成
Continuous Exposure-Time Modeling for Realistic Atmospheric Turbulence Synthesis
提出曝光时间相关的调制传递函数(ET-MTF)和倾斜不变的点扩散函数(PSF),用于生成物理精确的大气湍流模糊,可复用于图像复原任务的合成数据生成与泛化性评估。
CineScene:以隐式三维作为电影级视频生成的有效场景表示
CineScene: Implicit 3D as Effective Scene Representation for Cinematic Video Generation
用 VGGT 把静态场景图像编码成隐式三维感知特征,再以额外上下文拼接的方式注入预训练文生视频模型,实现相机轨迹可控且场景一致的视频合成;这套「隐式三维先验 + 上下文拼接」的条件注入思路可迁移到任何需要几何一致性的可控视频生成任务。
BarbieGait:面向步态识别的身份一致且支持多样换装的合成人体数据集
BarbieGait: An Identity-Consistent Synthetic Human Dataset with Versatile Cloth-Changing for Gait Recognition
用虚拟引擎把真实受试者映射为可控换装的合成步态数据,为跨衣物步态识别提供可扩展训练/评测源;GaitCLIF 的衣物不变特征学习思路可迁移到其他需抑制外观变化的生物特征识别任务。
AssemblyBench:面向复杂工业物体的物理感知装配
AssemblyBench: Physics-Aware Assembly of Complex Industrial Objects
提供了从多模态装配手册与 3D 零件几何联合预测装配顺序与 6-DoF 装配轨迹的设定与基准,可用于研究指令-几何对齐、部件级姿态估计与物理可行性约束下的运动生成。
AirSim360:一个无人机视角下的全景仿真平台
AirSim360: A Panoramic Simulation Platform within Drone View
为全景/无人机视角下的深度估计、语义与实例分割、导航等任务提供带像素级几何与语义标注的合成数据源,并给出可自动生成飞行轨迹的仿真接口,可直接用于训练与评测 360 度空间理解模型。
4DEquine:解耦运动与外观的单目视频四维马科动物重建
4DEquine: Disentangling Motion and Appearance for 4D Equine Reconstruction from Monocular Video
将4D动物重建解耦为动态运动回归与静态外观重建,用时空Transformer从单目视频回归像素对齐的SMPL类序列,并用前馈网络从单张图像重建可动画的3D高斯化身,为单目视频4D重建提供了可复用的解耦范式与合成数据训练策略。