Tag · 2 篇
三维空间关系推理
分布 视觉语言模型1强化学习与具身智能1
01 02
可扩展的物体关系编码:提升大语言模型中的三维空间推理能力
Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models
QuatRoPE 用四元数式整体向量编码 3D 坐标,并通过注意力层点积隐式算出成对空间关系,使输入长度随物体数线性增长;做 3D 场景-语言对齐或把场景图喂给 LLM 的工作可直接复用这一位置编码与 IGRE 门控扩展思路。
Context-Nav:面向实例导航的上下文驱动探索与视角感知三维空间推理
Context-Nav: Context-Driven Exploration and Viewpoint-Aware 3D Spatial Reasoning for Instance Navigation
把长文本描述编码成稠密文本-图像对齐的价值图来给前沿点排序,作为探索先验;再用采样观察位姿、对齐局部坐标系做三维空间关系校验来判定候选,这套「价值图引导探索 + 视角感知关系验证」的零训练流程可直接迁移到具身导航与开放词表目标定位中。