视听导航

连续环境中的语义视听导航

Semantic Audio-Visual Navigation in Continuous Environments

论文提出在连续3D环境中进行语义视听导航的新设定，并设计多模态Transformer模型MAGNet，联合编码空间与语义目标表示，融合历史上下文与自运动线索进行记忆增强的目标推理。对视觉研究者而言，可借鉴其处理目标间歇性静音或停止发声时如何利用历史信息维持目标定位的思路，以及连续空间下视听流对齐与融合的方法。