Tag · 8 篇

合成数据训练

分布 3D 视觉与重建3生成模型与扩散2图像编辑与可控生成1视频理解与时序1自动驾驶与遥感1

UIKA: Fast Universal Head Avatar from Pose-Free Images

用像素级人脸对应把任意视角、任意表情的输入重投影到与相机位姿和表情无关的 UV 空间，再在屏幕级与 UV 级联合做注意力，为无位姿输入的前馈可动画头部重建提供了可复用的表示与网络设计思路。

TokenLight: Precise Lighting Control in Images using Attribute Tokens

把光照属性（强度、颜色、环境光、漫反射程度、3D 光源位置）拆成独立 token 做条件控制，为图像编辑类工作提供了「属性解耦 + 连续可调」的条件注入范式，可直接迁移到材质、阴影、色温等其他连续编辑维度。

PromptDepth: Efficient and Promptable Geometric 3D Vision Model for Embodied Intelligence

PromptDepth 将深度估计与实例级分割统一到一个前馈网络中，通过提示（prompt）灵活切换全景/实例/跟踪深度图输出，为具身智能提供实时 3D 感知与交互能力；其 ILDS 损失和 Gram Anchoring 技术可缓解密集与离散表示冲突，可复用于其他多任务密集预测模型。

Moving Border Ownership for Event-based Motion Segmentation

把运动分割重新表述为「运动边界归属」预测：用有符号距离场编码边界朝向与前景归属，并以 Blender 合成事件提供完美监督，使模型在真实事件数据集上零样本迁移；这一「边界归属场 + 合成监督」思路可迁移到事件相机上的光流、遮挡推理与目标分割。

LiDAS: Lighting-driven Dynamic Active Sensing for Nighttime Perception

把车灯当作可主动控制的视觉执行器，用下游感知损失驱动光照场的预测，使白天训练的模型零样本迁移到夜间；这一「感知-照明闭环」思路可复用到其他主动传感（如可控曝光、主动红外补光）与感知-控制联合优化问题中。

Learning to Generate Highly Dynamic Videos using Synthetic Motion Data

用渲染光流作为与外观解耦的运动监督信号，训练视频扩散模型学习真实数据中稀缺的剧烈运动与精确相机运动控制，可直接迁移到任何需要细粒度运动条件的视频生成管线。

Cinematic Audio Source Separation Using Visual Cues

把视觉线索作为条件注入条件流匹配生成过程，为视觉研究者提供了一个可复用的范式：用视频帧（人脸、场景）作为条件信号去引导音频生成/分离，可迁移到其他以视觉为条件的生成任务（如视觉引导的语音增强、音效合成）。

AnyLift: Scaling Motion Reconstruction from Internet Videos via 2D Diffusion

用 2D 扩散模型在多视图合成数据上做相机条件建模，把互联网单目视频中的 2D 关键点提升为世界坐标系下的全局一致 3D 人体运动与 HOI，为动态相机下的运动重建提供了可复用的两阶段范式。