Tag · 3 篇
空间推理基准
分布 视觉语言模型2数据集与评测1
01 02 03
HandVQA：诊断并改进视觉语言模型中的手部细粒度空间推理
HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models
对手部细粒度空间推理感兴趣的视觉研究者，可以把 HandVQA 当作诊断工具：用 3D 手部数据集自动生成关节角度、距离、相对位置的多选题，检验 VLM 的几何理解；同时验证了 LoRA 微调后学到的 3D 空间知识能零样本迁移到手势识别与手物交互任务，为「用合成 VQA 注入几何先验」提供了可复用范式。
从室内到开放世界：揭示多模态大模型中的空间推理鸿沟
From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs
对做多模态大模型空间推理的人，这篇提供了用双目+LiDAR+IMU/GPS 采集的行人视角视频自动生成分层空间推理问答的流程，以及合成异常场景与盲测两种诊断协议，可直接用来检验模型是否真的依赖视觉 grounding 而非语言先验。
通过宽基线匹配激发多模态大语言模型中的复杂空间推理
Eliciting Complex Spatial Reasoning in MLLMs through Wide-Baseline Matching
把宽基线匹配当作可验证奖励信号，用强化学习（DCRL）在无 CoT 监督下提升 MLLM 的几何与视角变化推理；其从 RGB-D 视频与 SfM 重建自动挖掘宽基线视图对的数据流水线，可直接复用于构建空间对应训练数据。