Tag · 4 篇
跨模态推理
分布 数据集与评测2视觉语言模型2
01 02 03 04
X-PCR:眼科诊断中跨模态渐进式临床推理基准
X-PCR: A Benchmark for Cross-modality Progressive Clinical Reasoning in Ophthalmic Diagnosis
该基准为视觉-语言模型在眼科诊断中的渐进式推理与跨模态整合能力提供了细粒度评测协议,其六阶段推理链和六模态整合任务可直接用于诊断多模态模型在临床视觉推理中的短板。
SVAgent:故事线引导的跨模态多智能体协作长视频理解
SVAgent: Storyline-guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration
把「故事线」作为可迭代演化的中间表示,配合跨模态决策智能体与元智能体做答案对齐,为长视频问答提供了一种无需额外训练、可插拔的多智能体推理框架,可直接迁移到长视频理解与时序推理任务。
建模跨视觉协同的统一大视觉模型
Modeling Cross-vision Synergy for Unified Large Vision Model
PolyV 的稀疏混合专家架构与动态模态路由器为视觉多模态统一模型提供了可复用的设计范式,其协同感知训练策略(模态特定预训练+知识蒸馏+对象/关系级对齐)可直接用于提升视觉模型在跨模态推理任务上的表现。
CRIT:基于图的自动数据合成以增强跨模态多跳推理
CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning
提供了一套基于图自动生成跨模态多跳推理训练/评测数据的流水线,可直接用于构造需要图文互补才能作答的 VLM 训练数据,缓解模型推理链缺乏视觉依据的幻觉问题。