Tag · 3 篇
多模态对话
01 02 03
视觉-语音模型：教语音模型谈论图像
Vision-Speech Models: Teaching Speech Models to Converse about Images
为预训练语音模型通过轻量适配模块注入视觉理解能力，并设计动态门控机制在视觉输入与无关对话间切换，为构建实时多模态语音对话系统提供可复用方案。
ViBES：具备行为智能 3D 虚拟身体的对话智能体
ViBES: A Conversational Agent with Behaviorally-Intelligent 3D Virtual Body
ViBES 将语音、文本和身体动作统一为交错的多模态词元流，并用按模态硬路由的混合专家 Transformer 联合建模，为视觉研究者提供了构建可控 3D 虚拟人对话系统的可复用架构与多轮对话-动作对齐评测思路。
U-Mind：面向实时多模态交互与视听生成的统一框架
U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation
论文提出以文本优先的思维链规划驱动语音、动作和视频的同步生成，并实现基于姿态与语音条件的实时视频渲染，为视觉研究者提供了将语言推理与视频生成闭环结合的可复用框架。