Tag · 4 篇
细粒度视觉理解
Med-CMR:融合视觉证据与临床逻辑的医学复杂多模态推理细粒度基准
Med-CMR: A Fine-Grained Benchmark Integrating Visual Evidence and Clinical Logic for Medical Complex Multimodal Reasoning
为医学多模态大模型提供按能力维度拆解的细粒度评测协议:把视觉理解拆成小目标检测、细节判别、空间理解,把推理拆成时序预测、因果推理、长尾泛化、多源整合,可直接用于诊断自研医学 VLM 的失效环节,尤其是长尾病例的视觉证据整合能力。
拥抱视觉提示与分割令牌:多模态大语言模型中用于细粒度视觉理解的一致性学习
Hugging Visual Prompt and Segmentation Tokens: Consistency Learning for Fine-Grained Visual Understanding in MLLMs
该论文提出的一致性学习损失和两阶段训练框架,可复用于其他需要联合优化视觉提示与分割令牌的多模态任务,为细粒度视觉理解提供了一种通用的训练策略。
Granulon:以自适应多粒度语义唤醒像素级视觉编码器,服务多模态大语言模型
Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM
用文本条件动态控制视觉编码器的抽象粒度,并通过粒度引导的池化与关系聚类生成紧凑视觉词元,为多模态大模型中的细粒度视觉理解提供可复用方案。
DeepScan:面向大型视觉语言模型视觉定位推理的免训练框架
DeepScan: A Training-Free Framework for Visually Grounded Reasoning in Large Vision-Language Models
提出免训练的分层扫描与重聚焦机制,可即插即用地增强LVLM的视觉定位与细粒度理解能力,为视觉证据提取与推理提供可复用框架。