Tag · 1 篇
Hear you are: Teaching LLMs Spatial Reasoning with Vision and Spatial Sound
把双耳空间音频作为额外输入通道接入大语言模型,为视觉问答提供声源方位线索;当语义对应缺失或存在多个语义匹配时,空间对齐可作为消歧依据,这一设定可直接迁移到机器人听觉定位、视频中的声源定位与多模态推理任务。