Tag · 9 篇
场景图
VLM-Loc:基于视觉语言模型的点云地图定位
VLM-Loc: Localization in Point Cloud Maps via Vision-Language Models
将点云转为BEV图像和场景图,利用VLM的跨模态推理能力实现文本到点云的定位,为3D场景理解提供可解释的空间推理新范式。
合成课程强化组合式文本到图像生成
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
用场景图定义组合难度并配合 MCMC 图采样构造由易到难的训练课程,再接入 GRPO 做强化学习微调,这套「难度感知课程 + 策略优化」流程可直接迁移到扩散或自回归 T2I 模型的组合能力提升上。
SpatiaLQA:评估视觉语言模型空间逻辑推理能力的基准
SpatiaLQA: A Benchmark for Evaluating Spatial Logical Reasoning in Vision-Language Models
可复用其递归场景图辅助推理框架:用视觉基础模型把复杂室内场景逐步分解为与任务相关的场景图,再交给 VLM 做多步空间逻辑推理,这一思路可直接迁移到具身导航、机器人操作等需要空间关系判断的视觉任务。
SIR:面向可解释机器人学习的结构化图像表征
SIR: Structured Image Representations for Explainable Robot Learning
用场景图作为机器人策略的中间表征,把图像特征转成可稀疏化的图结构,既提升对干扰物的鲁棒性,又让决策过程可被逐节点审查;做视觉表征或 VLA 的研究者可借鉴这种「结构化中间表示 + 端到端稀疏化」的思路来替代黑箱图像嵌入。
RE-VLM:事件增强的视觉语言模型用于场景理解
RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding
将事件相机作为补充模态引入视觉语言模型,通过双流编码器和渐进式训练对齐异构特征,为低光照、高动态范围等挑战性场景下的视觉语言理解提供了可复用的多模态融合方案。
PARSE:部件感知的关系空间建模
PARSE: Part-Aware Relational Spatial Modeling
提出部件级装配图(PAG)作为结构化先验,可注入3D生成模型提升物理真实感与结构复杂度;同时为视觉语言模型提供部件级关系监督,增强空间推理能力。
FunFact:通过因子图推理构建概率功能3D场景图
FunFact: Building Probabilistic Functional 3D Scene Graphs via Factor-Graph Reasoning
将功能关系建模为因子图变量,结合LLM常识先验与几何先验进行联合概率推理,可提升开放词表场景图中关系发现的召回率与置信度校准,适用于需要场景级推理的3D理解任务。
以场景图扩展机器人模仿学习的时空上下文
Expanding Spatial and Temporal Context for Robotic Imitation Learning With Scene Graphs
把动态场景图当作显式结构化记忆,为部分可观测下的长时序操作策略提供历史上下文;做视觉模仿学习或具身策略时,可复用这种以物体为中心的关系图记忆来替代隐式循环状态。
编辑即行动:面向开放词表3D室内场景编辑的目标回归规划
Edit-As-Act: Goal-Regressive Planning for Open-Vocabulary 3D Indoor Scene Editing
将自然语言指令转化为3D空间中的符号化动作序列,通过PDDL启发的动作语言显式编码支撑、接触、碰撞等几何关系,为开放词表3D场景编辑提供可解释、物理一致的规划框架,可复用于具身智能中的场景操作与交互。