Tag · 11 篇
多模态条件生成
UnityVideo：面向世界感知视频生成的统一多模态多任务学习
UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation
将分割掩码、人体骨架、DensePose、光流、深度图等多种异构模态作为统一条件输入视频扩散模型，并用动态加噪统一不同训练范式、用模态切换器+上下文学习器实现模块化参数共享，为视觉研究者提供了一套可复用的多模态条件注入与跨模态泛化方案。
文本-图像条件驱动的3D生成
Text-Image Conditioned 3D Generation
论文提出文本-图像联合条件的3D生成任务，并给出TIGON双分支基线：分别保留图像条件与文本条件骨干，再用轻量跨模态融合模块整合两路预测。对做3D生成的研究者，这提供了一个可复用的条件融合范式，也提示可用晚期融合作为诊断手段来量化不同条件模态的互补性。
Soul：为数字人注入生命，实现高保真长期多模态动画
Soul: Breathe Life into Digital Human for High-fidelity Long-term Multimodal Animation
提出基于Wan2.2-5B骨干的多模态驱动数字人动画框架，通过音频注入层和阈值感知码本替换实现长期一致性，并利用步数/CFG蒸馏与轻量VAE实现11.4倍推理加速，为视频生成中的长时一致性和效率优化提供可复用方案。
Sketch2CT：面向结构感知三维医学体数据生成的多模态扩散模型
Sketch2CT: Multimodal Diffusion for Structure-Aware 3D Medical Volume Generation
把「2D 草图 + 文本」作为多模态条件，先由噪声生成 3D 器官分割掩码、再以其引导潜变量扩散模型合成 3D CT 体数据，这套「先结构后外观」的两阶段条件生成流程可直接迁移到其他需要解剖结构约束的医学体数据合成与数据增广任务。
OmniLottie：通过参数化 Lottie 分词器生成矢量动画
OmniLottie: Generating Vector Animations via Parameterized Lottie Tokens
将 Lottie 矢量动画参数化为函数调用序列，并借助预训练视觉语言模型以多模态指令（文本、图像、视频）为条件进行生成，为矢量图形与动画生成提供了可复用的表示与训练范式。
Omni2Sound：迈向统一的视频-文本到音频生成
Omni2Sound: Towards Unified Video-Text-to-Audio Generation
提出三阶段多任务渐进训练调度，将视频到音频与文本到音频的跨任务竞争转化为联合优化，并缓解VT2A任务中的模态偏置；该调度策略可迁移到其他多模态条件扩散生成任务（如视频配音、音效生成）中平衡异构条件。
听见你所见：基于扩散 Transformer 与语义-时序对齐排序直接偏好优化的视频到音频生成
Hear What You See: Video-to-Audio Generation with Diffusion Transformer and Semantic-Temporal Alignment-Ranked Direct Preference Optimization
把视频帧与文本线索作为多模态条件注入 co-attention 扩散 Transformer，并用按语义-时序对齐排序构造偏好对的 DPO 微调扩散采样过程，这套「自动排序候选 + 偏好微调」的流程可直接迁移到其他以视觉为条件的生成任务（如视频生成、可控图像生成）中提升条件对齐度。
基于多模态流匹配的少样本声学生成
Few-shot Acoustic Synthesis with Multimodal Flow Matching
把流匹配 + 扩散 Transformer 用于以稀疏多模态场景线索（空间、几何、声学）为条件的概率化生成，其条件融合与少样本泛化思路可迁移到视觉中的跨模态条件生成任务；AGREE 这种联合嵌入做几何一致性检索评测的做法，也可借鉴到视觉生成结果的分布级评测。
DyaDiT：面向社交友好双人手势生成的多模态扩散 Transformer
DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation
把扩散 Transformer 用于双人对话场景的联合运动生成，通过融合双方音频与可选的社会语境 token、并允许以对话伙伴的手势作为条件，为多人交互式人体动作生成提供了可复用的条件融合与响应式建模思路。
Avatar Forcing：面向自然对话的实时交互式头部虚拟人生成
Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation
扩散强制（diffusion forcing）框架将自回归生成与扩散模型结合，实现因果约束下的实时多模态条件生成；直接偏好优化（DPO）利用合成负样本进行无标签的偏好学习，可迁移到其他需要实时交互的生成任务。
AceTone：连接文字与色彩的条件图像分级
AceTone: Bridging Words and Colors for Conditional Image Grading
将颜色分级建模为生成3D-LUT token序列的任务，利用VQ-VAE压缩LUT并用视觉语言模型预测，为图像编辑提供了一种可复用的、语言驱动的全局颜色变换范式。