Tag · 4 篇
手部姿态估计
UST-Hand:面向3D自监督手部姿态估计的不确定性感知时空点云交互网络
UST-Hand: An Uncertainty-aware Spatiotemporal Point Cloud Interaction Network for 3D Self-supervised Hand Pose Estimation
用条件归一化流建模手部姿态分布并采样多假设,再把多假设映射到统一概率点云空间做多视角与时序特征交互,这一「不确定性采样+点云时空融合」的范式可直接迁移到其他缺乏标注的人体/物体关键点与姿态自监督任务。
MGDHand:面向稀疏 IMU 序列三维手部姿态估计的多粒度先验到惯性蒸馏框架
MGDHand: Multi-Granularity Prior-to-Inertial Distillation Framework for Sequential 3D Hand Pose Estimation from Sparse IMUs
把视觉侧 MANO 融合教师模型的静态形状、动态关节运动学与速度/加速度先验,按粒度解耦蒸馏到稀疏 IMU 学生模型,为视觉-惯性跨模态蒸馏提供了可复用的「按信息密度分层对齐」思路,可直接迁移到人体姿态、动捕等稀疏传感器设定。
HandVQA:诊断并改进视觉语言模型中的手部细粒度空间推理
HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models
对手部细粒度空间推理感兴趣的视觉研究者,可以把 HandVQA 当作诊断工具:用 3D 手部数据集自动生成关节角度、距离、相对位置的多选题,检验 VLM 的几何理解;同时验证了 LoRA 微调后学到的 3D 空间知识能零样本迁移到手势识别与手物交互任务,为「用合成 VQA 注入几何先验」提供了可复用范式。
以条件手部调制器增强三维全身姿态估计中的手部
Enhancing Hands in 3D Whole-Body Pose Estimation with Conditional Hands Modulator
用预训练手部估计器的特征通过轻量调制器(CHAM)注入全身姿态网络的特征流,无需重训全身模型即可修正手腕朝向;手指关节与手形则经可微刚性对齐贴到全身网格上,这套「冻结主干+外挂专家调制」的模块化思路可直接迁移到其他部位精度不足的全身/多人重建任务。