Tag · 6 篇
两阶段训练
UniLS:面向统一听与说的端到端音频驱动虚拟人
UniLS: End-to-End Audio-Driven Avatars for Unified Listening and Speaking
两阶段训练范式(先无音频自回归学习内在运动先验,再用双轨音频微调调制)为音频驱动的人脸/头部生成提供了可复用思路,尤其适合解决弱音频驱动信号下生成僵硬的问题;双轨音频端到端设定也可直接用于交互式数字人。
PAF:面向开放集半监督学习的扰动感知过滤
PAF: Perturbation-Aware Filtering for Open-Set Semi-Supervised Learning
把「语义保持扰动下表征是否稳定」当作区分 ID/OOD 的表示级信号,可直接迁移到任何需要从无标注池中筛掉分布外样本的视觉训练流程(如开放世界分类、半监督检测的伪标签过滤)。
Evo-1:保持语义对齐的轻量级视觉语言动作模型
Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment
提出一种轻量级视觉语言动作模型架构,通过跨模态扩散Transformer和两阶段训练保持视觉语言骨干的语义对齐,为视觉研究者提供将VLM高效适配到机器人控制任务的思路,并展示了在低参数量下实现实时推理的可行性。
CanonCGT:基于规范枢轴表示的参考图引导色彩分级
CanonCGT: Reference-Based Color Grading via Canonical Pivot Representation
用「风格中立的规范枢轴」作为中间表示,把色调迁移拆成去偏规范化与参考匹配两步,可缓解参考图引导编辑中色调映射不稳定、颜色过冲的问题,这一中间表示思路可迁移到其他参考引导的图像到图像任务。
BrepVGAE:面向 B-rep 的统一潜变量表示变分图自编码器
BrepVGAE: Variational Graph Autoencoder with Unified Latent Representation for B-rep
将 B-rep 的面和边统一为图节点,用变分图自编码器从单一潜变量解码完整几何-拓扑结构,为 CAD 生成与检索提供了可复用的统一表示与集合式解码思路。
ActAvatar:面向说话头像的时序感知精确动作控制
ActAvatar: Temporally-Aware Precise Action Control for Talking Avatars
把提示词拆成全局基块与时序锚定的阶段块,并让浅层偏文本、深层偏音频,这一「分层模态权重」思路可直接迁移到任何音频驱动的视频生成或可控扩散模型中,用来缓解多条件相互干扰。