Tag · 34 篇
视觉问答
一帧世界：将文化混合理解为视觉语言模型的新挑战
World in a Frame: Understanding Culture Mixing as a New Challenge for Vision-Language Models
为 LVLM 研究提供了一个可复用的文化混合 VQA 基准与四种子任务设定，并验证了用扩散生成的多文化混合数据做监督微调可显著降低模型对背景的依赖、提升跨上下文预测一致性，可作为评估和缓解 LVLM 背景偏置的参考范式。
VisualOverload：探测视觉语言模型在真正密集场景中的视觉理解
VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes
该基准揭示了当前VLM在密集场景下细节编码与推理的严重不足，为视觉编码器的高分辨率细节保留和推理模块的细粒度逻辑一致性提供了明确的评测靶点。
面向物体问题的视觉定位
Visual Grounding for Object Questions
把视觉定位从「找可见目标」扩展到「为开放式物体问题找视觉证据」，并给出可自动生成训练/评测数据的流程；做指代分割或 VQA 的研究者可借此设定检验模型在非直接可见概念上的定位能力，也可复用其轻量定位模型与合成基准。
VQ-VA World：迈向高质量视觉问题视觉回答
VQ-VA World: Towards High-Quality Visual Question-Visual Answering
论文提出以图像而非文本回答视觉问题的 VQ-VA 任务，并给出基于智能体流水线的大规模交错图文数据构建方案与 IntelligentBench 基准，为视觉语言模型从判别式问答向生成式视觉回答扩展提供了可复用的数据与评测范式。
Uni-Hema：面向数字血液病理学的统一模型
Uni-Hema: Unified Model for Digital Hematopathology
Hema-Former 在层级上桥接视觉与语言表征、统一处理检测/分类/分割/形态预测/VQA 的多粒度多任务设计，可迁移到其他需要细胞级多任务推理的显微成像场景；其 46 个数据集、700K 图像与 21K QA 对的整合方式也提供了多源医学数据统一训练的参考。
面向多模态大语言模型的不确定性感知知识蒸馏
Uncertainty-Aware Knowledge Distillation for Multimodal Large Language Models
把教师监督视为学生激活上的 Gibbs 先验，可导出闭式的不确定性感知权重，可直接套用到任意蒸馏损失上；做 VLM 蒸馏或小模型压缩时，可用它按样本自适应调节教师信号强度，避免噪声样本与教师不确定样本的过度影响。
LLM 瓶颈：开源视觉大语言模型为何难以进行层级视觉识别
The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
论文用约百万道四选一视觉问答任务，把「层级分类一致性」拆成可量化的评测维度，并证明瓶颈在 LLM 一侧而非视觉编码器；做层级识别、细粒度分类或 VLM 微调的人可以直接复用这套诊断协议，判断性能上限是被语言模型的知识缺口卡住，还是被视觉表征卡住。
StaR-KVQA：面向隐式知识视觉问答的结构化推理链
StaR-KVQA: Structured Reasoning Traces for Implicit-Knowledge Visual Question Answering
对做VQA/多模态推理的人，可复用其「符号关系路径+路径锚定自然语言解释」的双路推理链构造与离线数据筛选流程，把答案监督升级为结构感知的自蒸馏，无需外部检索器即可在单次自回归推理中提升可解释性与准确率。
场景即词元：面向通用三维视觉语言理解的多尺度正态分布变换分词器
Scenes as Tokens: Multi-Scale Normal Distributions Transform Tokenizer for General 3D Vision-Language Understanding
把高分辨率点云经多尺度 NDT 表示压缩成 LLM 可消费的整体场景 token，并用同一个解码器同时承担点/框/掩码提示编码与掩码解码，为 3D VLM 提供了一套可复用的「场景分词 + 统一提示接口」范式。
SEA：通过元素级常识视觉问答评估草图抽象效率
SEA: Evaluating Sketch Abstraction Efficiency via Element-level Commonsense Visual Question Answering
把 VQA 模型当作「元素存在性检测器」来给草图抽象效率打分，这个无参考、元素级的评估范式可以迁移到任何需要衡量「语义保留 vs 视觉简化」的生成任务上（如简笔画生成、图标/logo 生成、示意图生成的质量评估）。
SEA-Vision：面向东南亚综合文档与场景文本理解的多语言基准
SEA-Vision: A Multilingual Benchmark for Comprehensive Document and Scene Text Understanding in Southeast Asia
该基准为多语言文档与场景文本理解提供了细粒度标注（页/块/行级）和五类推理的TEC-VQA，可用于评估多模态大模型在低资源语言上的性能退化，并推动文档解析与文本中心视觉问答的鲁棒性研究。
重新审视持续视觉问答：面向多模态持续学习的公平与鲁棒评测
Re-evaluating Continual VQA: Toward Fair and Robust Evaluation for Multimodal Continual Learning
对做多模态持续学习的人，这篇论文指出共享答案词表与静态答案先验会系统性高估性能、低估遗忘，并给出可复用的无偏基准构造方式（token 级不相交答案空间 + 任务内训练-测试分布偏移）；其 question-only replay 与双层蒸馏基线也可作为轻量防遗忘的对照方案。
RE-VLM：事件增强的视觉语言模型用于场景理解
RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding
将事件相机作为补充模态引入视觉语言模型，通过双流编码器和渐进式训练对齐异构特征，为低光照、高动态范围等挑战性场景下的视觉语言理解提供了可复用的多模态融合方案。
R4-CGQA：基于检索的视觉语言模型用于计算机图形图像质量评估
R4-CGQA: Retrieval-based Vision Language Models for Computer Graphics Image Quality Assessment
提出双流检索增强生成框架，利用视觉相似图像的质量描述提升VLM对细粒度图像质量的判断能力，可迁移至其他需要细粒度感知的视觉语言任务。
Proxy3D：通过语义聚类与对齐为视觉语言模型构建高效三维表征
Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment
用语义感知聚类把视频帧特征压缩成一组 3D 代理 token 替代像素对齐的视觉序列，为 VLM 提供紧凑且具空间一致性的视觉输入；做 3D 空间推理或多模态大模型视觉编码器压缩时可复用这一「聚类成代理 + 多阶段对齐」范式。
Omni-Attack：黑盒多模态大语言模型中开放端视觉问答的对抗攻击
Omni-Attack: Adversarial Attacks on Open-Ended VQA in Black-Box Multimodal LLMs
针对开放端视觉问答的黑盒迁移攻击方法，其目标构建流程和位置感知扰动策略可被复用于评估和提升多模态大模型的对抗鲁棒性。
Omni-AD：面向工业异常检测的大规模通用基准
Omni-AD: A Large-scale and Versatile Benchmark for Industrial Anomaly Detection
为工业异常检测提供了一个规模更大、类别更多且同时支持无监督协议与 MLLM 协议（VQA 与视觉定位）的评测平台，可直接用于检验现有 IAD 方法与多模态大模型在细粒度缺陷判别上的真实能力上限。
M4-RAG：大规模多语言多文化多模态检索增强生成基准
M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG
该基准为视觉语言模型提供了跨42种语言、56种方言和189个国家的8万余个文化多样图像-问题对，并构建了可控检索环境，可用于系统评估多语言多模态RAG的检索效果与模型规模的关系，揭示大模型在RAG下性能反而下降的问题。
利用互联网级无标注数据提升 3D 场景理解
Lifting Unlabeled Internet-level Data for 3D Scene Understanding
提出一种数据引擎，利用互联网无标注视频自动生成 3D 场景理解训练数据，可复用于低层感知（3D 检测/分割）与高层推理（3D VQA/VLN）任务，为缓解 3D 标注稀缺提供可扩展方案。
LLMind：受生物启发的免训练自适应视觉表征用于视觉语言模型
LLMind: Bio-inspired Training-free Adaptive Visual Representations for Vision-Language Models
在紧像素预算下，用莫比乌斯参数化的非均匀采样替代 VLM 的均匀视觉编码，并通过测试时自适应的闭环语义反馈把采样密度对齐到文本查询的显著区域；这套即插即用的前端可直接复用于任何冻结 VLM 的高分辨率或长视频输入压缩。
HiSpatial：在视觉语言模型中驯服分层 3D 空间理解
HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models
把度量尺度点图作为辅助输入注入 VLM，并用四级递进的空间 VQA 数据（约 5M 图像、45M 物体）做监督微调，是提升视觉语言模型 3D 空间理解的一条可复用数据与输入表征路线。
利用多模态大语言模型中的思维链推理进行人脸活体检测
Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing
将思维链视觉问答引入人脸活体检测，用 MLLM 的视觉-语言联合推理替代单一视觉模态判别，并给出可复用的 CoT VQA 数据集构建与渐进式训练策略，可直接迁移到其他需要细粒度真伪判别的视觉任务。
HandVQA：诊断并改进视觉语言模型中的手部细粒度空间推理
HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models
对手部细粒度空间推理感兴趣的视觉研究者，可以把 HandVQA 当作诊断工具：用 3D 手部数据集自动生成关节角度、距离、相对位置的多选题，检验 VLM 的几何理解；同时验证了 LoRA 微调后学到的 3D 空间知识能零样本迁移到手势识别与手物交互任务，为「用合成 VQA 注入几何先验」提供了可复用范式。
Gastric-X：用于推进胃癌分析中视觉语言模型的多模态多期基准数据集
Gastric-X: A Multimodal Multi-Phase Benchmark Dataset for Advancing Vision-Language Models in Gastric Cancer Analysis
为医学视觉语言模型提供了一个包含配对CT、内镜图像、生化指标和专家报告的多模态基准，可用于评测和开发面向真实临床工作流的VQA、报告生成、跨模态检索和病灶定位方法。
EgoProx：在认知层级上评估多模态大语言模型的自我中心三维邻近推理
EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy
为视觉研究者提供了一个以自我中心视角评估 MLLM 三维邻近关系推理的基准与智能体式数据生成引擎，可用于诊断模型的空间知识是否被有效调用，并指导空间推理 VQA 的指令微调设计。
Diagram2Structure：通过 DiagramDiff 解锁大语言模型的图表理解能力——一个面向离线图表结构化的框架
Diagram2Structure: Unlocking LLMs' Diagram Comprehension through DiagramDiff, a Framework for Structuring Offline Diagrams
把离线图表图像重建为标准化结构化数据（元素实例+关系），再交给 LLM 做语义推理与编辑，为视觉-语言模型处理结构化图形提供了一条「先结构化、后推理」的可复用管线，也给出了图表重建与元素识别的评测设定。
通过视觉符号诊断、纠正并学习操作失败
Diagnose, Correct, and Learn from Manipulation Failures via Visual Symbols
用显式视觉符号（如箭头、标记）作为中间表示来标注和生成纠正动作，为 VLA 失败恢复提供了一种可复用的视觉提示与数据构造范式；ViFailback-Bench 的 11 项细粒度 VQA 任务也可直接用于评测 VLM 的具身失败诊断能力。
DiGraphHal-Bench：评估多模态大语言模型在复杂有向图上的表现
DiGraphHal-Bench: Evaluating Multimodal Large Language Models on Complex Directed Graphs
该论文提出的有向图VQA基准和两阶段自动数据整理流程，可用于评估和提升多模态大模型在结构化视觉信息（如图表、流程图）上的细粒度推理与幻觉抑制能力，为视觉-语言模型在复杂图结构理解方向提供可复用的评测方法和数据构建思路。
思深则视弱：理解与缓解多模态大语言模型推理过程中的感知损伤
Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models
提出免训练的视觉区域引导注意力（VRGA）框架，通过熵-聚焦准则选择视觉头并重加权注意力，缓解多模态大模型在推理时的注意力分散问题，可直接用于提升VQA和视觉定位任务的性能。
第二视角图像能否充当一种语言？面向 X 射线违禁品检测的几何与语义跨模态推理
Can a Second-View Image Be a Language? Geometric and Semantic Cross-Modal Reasoning for X-ray Prohibited Item Detection
把第二视角图像当作「类语言模态」与文本语义联合对齐，并用结构化思维链（top→side→conclusion）组织跨视角几何与跨模态语义的推理，这一设定可迁移到任何多视角+文本的检测或问答任务中。
CCCaption：面向完整与正确图像描述的双奖励强化学习
CCCaption: Dual-Reward Reinforcement Learning for Complete and Correct Image Captioning
提出基于双奖励强化学习的图像描述训练框架，利用多个LVLM分解视觉查询来评估完整性和正确性，可复用于其他视觉语言生成任务的奖励设计。
CC-VQA：面向知识型视觉问答中知识冲突缓解的冲突与相关性感知方法
CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering
对做知识型 VQA 的人，这篇给出了一个免训练、可直接插到现有 VLM 推理流程里的方案：先用视觉语义做内外知识冲突判定，再用相关性加权的位置编码压缩与自适应解码抑制低相关检索段落，可作为检索增强 VLM 推理阶段的通用后处理模块复用。
BOP-ASK：面向视觉语言模型的物体交互推理
BOP-ASK: Object-Interaction Reasoning for Vision-Language Models
利用 BOP 数据集的 6D 物体位姿自动派生抓取位姿、指代物体位姿、路径轨迹与相对空间/深度关系，为 VLM 的空间与交互推理提供可规模化、带精确几何真值的训练与评测信号；这套「从位姿标注反推问答」的流水线可直接迁移到其他需要细粒度 3D 监督的视觉-语言任务。
AdaptVision：通过自适应视觉获取实现高效视觉语言模型
AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition
把「视觉词元数量」当作可由模型自主决策的动作，用强化学习（DTPO）在粗到细的流程中决定何时调用裁剪工具获取高分辨率区域，为视觉研究者提供了一种按样本自适应分配视觉计算预算、而非固定比例压缩的 VLM 推理范式。