Tag · 5 篇
人-物交互
TeHOR:文本引导的带纹理三维人体与物体重建
TeHOR: Text-Guided 3D Human and Object Reconstruction with Textures
用文本描述替代/补充接触先验来约束人-物联合三维重建,可复用于非接触交互场景(指向、注视)的重建与生成;其将外观线索纳入对齐过程的做法,对单图人-物重建中的视觉合理性约束有直接借鉴价值。
从单目视频中恢复物理合理的人-物交互
Recovering Physically Plausible Human-Object Interactions from Monocular Videos
把运动学估计的单目人-物交互重建结果送入物理仿真器,用强化学习策略做后处理精修,可复用于任何需要消除穿模与物体漂浮的4D重建管线;其双自更新自适应采样机制也适用于从噪声标注中挑选可靠帧做训练。
利用视觉属性增强描述性图像标题以提升多模态感知
Enhancing Descriptive Captions with Visual Attributes for Multimodal Perception
把现成的视觉专家模型(深度、情绪、细粒度分类、HOI 检测)的输出作为属性注入 caption 生成流程,为 LMM 训练构造更细粒度的图文数据;做多模态数据合成或 caption 增强时可直接复用这套「专家模型拼装」思路。
面向人-物交互合成的解耦生成建模
Decoupled Generative Modeling for Human-Object Interaction Synthesis
将 HOI 合成解耦为「轨迹生成 + 动作生成」两阶段,并用关注远端关节动力学的判别器做对抗训练,可复用于人体动作生成与具身控制中的接触真实性问题。
AnyLift:借助 2D 扩散从互联网视频扩展运动重建
AnyLift: Scaling Motion Reconstruction from Internet Videos via 2D Diffusion
用 2D 扩散模型在多视图合成数据上做相机条件建模,把互联网单目视频中的 2D 关键点提升为世界坐标系下的全局一致 3D 人体运动与 HOI,为动态相机下的运动重建提供了可复用的两阶段范式。