Tag · 11 篇
手物交互
SHOW3D：在野外捕获3D手与物体场景
SHOW3D: Capturing Scenes of 3D Hands and Objects in the Wild
提供了一套可移动的多相机采集系统与ego-exo跟踪流程，用于在真实野外环境中生成手与物体的精确3D标注，可直接用于训练和评测第一人称手物交互理解模型。
PAMotion：面向多物体全身交互的物理感知动作生成
PAMotion: Physics-Aware Motion Generation for Full-Body Interaction with Multiple Objects
把「物体加速度与接触状态的一致性」做成可微的物理感知损失，并采用由粗到细的分阶段条件生成（先躯干与物体平移、再手部与物体旋转），这套思路可直接迁移到任何需要物理合理性的扩散式人体/物体联合运动生成任务。
错误归因：第一人称视频中的细粒度错误理解
Mistake Attribution: Fine-Grained Mistake Understanding in Egocentric Videos
提出细粒度错误归因任务，将错误定位到指令语义角色、不可逆时间点（PNR）及空间位置，并给出自动构建大规模错误样本的数据引擎 MisEngine 与统一注意力模型 MisFormer，可复用于第一人称视频的时序定位与视觉语言理解。
HandWorld：以手为中心的统一视频动作生成
HandWorld: Hand-Centric Unified Video Action Generation
用双分支条件网络把视频域与动作域对齐成共享条件，再由两个解耦的扩散 Transformer 分别生成，这种「共享条件 + 分域解耦生成」的范式可直接迁移到其他需要联合生成视觉与结构化信号的设定（如轨迹+视频、音频+视频）。MANO 渲染手部作为中间输入提升跨域一致性的做法，对手物交互视频生成与动作预测都有参考价值。
HanDyVQA：面向细粒度手物交互动态的视频问答基准
HanDyVQA: A Video QA Benchmark for Fine-Grained Hand-Object Interaction Dynamics
提供了一个细粒度手物交互视频问答基准，并配套物体/部件级分割掩码，可用于评测视频基础模型的时空与部件级几何推理能力；其发现「显式注入 HOI 线索到视觉特征可提升性能」为设计 HOI 感知的视频表征提供了可复用思路。
HVG-3D：打通真实与仿真域的三维条件手物交互视频合成
HVG-3D: Bridging Real and Simulation Domains for 3D-Conditional Hand-Object Interaction Video Synthesis
将 3D ControlNet 接入扩散视频生成主干，用显式三维几何与运动线索替代 2D 控制信号，为视觉研究者提供了一条把仿真 3D 数据与真实单图结合、实现时空可控视频合成的可复用路径。
Glove2Hand：从多模态传感手套合成自然手物交互
Glove2Hand: Synthesizing Natural Hand-Object Interaction from Multi-Modal Sensing Gloves
用多模态传感手套（触觉+IMU）驱动3D高斯手模型，再经扩散式手部修复器渲染出无遮挡的裸手视频，为严重遮挡下的手部跟踪与接触力估计提供可复用的数据合成与监督信号来源。
GenHOI：面向对象一致的手物交互，采用时序均衡与空间选择性的对象注入
GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection
Head-Sliding RoPE 通过给参考 token 分配头级时序偏移来缓解 3D RoPE 的时序衰减，这一技巧可直接迁移到任何以参考图做长视频主体一致性的生成/编辑模型；两级空间注意力门控则提供了「只在交互区域增强条件、保留背景真实感」的可复用条件注入方案。
ForeHOI：从日常手物交互视频前馈重建三维物体
ForeHOI: Feed-forward 3D Object Reconstruction from Daily Hand-Object Interaction Videos
把 2D 掩码修复与 3D 形状补全放进同一个前馈框架联合预测，用 2D/3D 之间的信息交换解决手物严重遮挡下的物体重建，可迁移到任何被遮挡物体的单目重建与补全任务。
从黏土到岩石：面向单目关节手物操作建模的分阶段 3D 高斯泼溅
Clay-to-Stone: Phase-wise 3D Gaussian Splatting for Monocular Articulated Hand-Object Manipulation Modeling
把单目视频中的关节手物交互建模拆成「柔性形变探索 + 刚性结构固化」两阶段，用 3D 高斯泼溅表示并显式估计关节运动参数，可复用于关节物体重建与手物交互追踪中缓解形状-运动耦合歧义。
AffordGrasp：面向可供性的跨模态扩散抓取合成
AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis
把可供性（affordance）作为空间条件注入扩散过程来生成手部抓取姿态，其双条件扩散与分布调整模块可迁移到任何需要几何+语义联合约束的 3D 姿态/接触生成任务。