Tag · 6 篇
多步推理
VIRST:面向时空分割的视频指令推理助手
VIRST: Video-Instructed Reasoning Assistant for SpatioTemporal Segmentation
将分割感知的视频特征通过时空融合注入视觉语言主干,并用时序动态锚框更新器在大运动、遮挡与重现下维持稳定时序线索,为指代视频分割与推理式分割提供可复用的端到端范式。
SpatiaLQA:评估视觉语言模型空间逻辑推理能力的基准
SpatiaLQA: A Benchmark for Evaluating Spatial Logical Reasoning in Vision-Language Models
可复用其递归场景图辅助推理框架:用视觉基础模型把复杂室内场景逐步分解为与任务相关的场景图,再交给 VLM 做多步空间逻辑推理,这一思路可直接迁移到具身导航、机器人操作等需要空间关系判断的视觉任务。
OralGPT-Plus:通过强化学习学会使用视觉工具进行全景 X 光分析
OralGPT-Plus: Learning to Use Visual Tools via Reinforcement Learning for Panoramic X-ray Analysis
把「调用视觉工具做局部复查 + 对侧对称比较」建模成可学习的多步推理策略,并用 rubric 奖励与诊断驱动奖励稳定长程强化学习,这套 agentic 交互范式可迁移到任何需要细粒度空间核查的视觉语言模型任务(如病灶定位、遥感判读)。
面向机器人抓取的障碍物推理
Obstruction Reasoning for Robotic Grasping
把「障碍物推理」形式化为以目标物体为起点的障碍路径多步推理,并用障碍感知视觉线索锚定每一步推理,再以可验证奖励做监督+强化微调;做具身操作或 VLA 的研究者可复用该推理链构造与奖励设计,UNOBench 也可作为遮挡场景抓取的评测基准。
Med-CMR:融合视觉证据与临床逻辑的医学复杂多模态推理细粒度基准
Med-CMR: A Fine-Grained Benchmark Integrating Visual Evidence and Clinical Logic for Medical Complex Multimodal Reasoning
为医学多模态大模型提供按能力维度拆解的细粒度评测协议:把视觉理解拆成小目标检测、细节判别、空间理解,把推理拆成时序预测、因果推理、长尾泛化、多源整合,可直接用于诊断自研医学 VLM 的失效环节,尤其是长尾病例的视觉证据整合能力。
Conan:在多尺度视觉证据上像侦探一样推理的渐进式学习
Conan: Progressive Learning to Reason Like a Detective over Multi-Scale Visual Evidence
把「帧级证据定位」显式建模为推理轨迹的一部分(识别-推理-动作),并用 RLVR 分阶段冷启动训练,可直接迁移到需要视觉 grounding 的多步 VQA、长视频问答与视频 agent 决策场景。