LLM 瓶颈：开源视觉大语言模型为何难以进行层级视觉识别
The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
论文用约百万道四选一视觉问答任务，把「层级分类一致性」拆成可量化的评测维度，并证明瓶颈在 LLM 一侧而非视觉编码器；做层级识别、细粒度分类或 VLM 微调的人可以直接复用这套诊断协议，判断性能上限是被语言模型的知识缺口卡住，还是被视觉表征卡住。
原文依据 finetuning a vision LLM using our VQA tasks reaffirms LLMs' bottleneck effect
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论本文揭示，许多开源大语言模型（LLM）缺乏关于我们视觉世界的层级知识，甚至不了解早已确立的生物学分类体系。这一缺陷使 LLM 成为视觉大语言模型进行层级视觉识别的瓶颈（例如能识别小丑鱼，却不知道它属于脊椎动物）。我们通过约一百万道四选一视觉问答（VQA）任务得出上述结论，这些任务由六个分类体系和四个图像数据集构建而成。有趣的是，使用我们的 VQA 任务微调视觉大语言模型反而再次印证了 LLM 的瓶颈效应，因为这些 VQA 任务对 LLM 在纯文本任务中层级一致性的提升，要大于对视觉大语言模型的提升。我们认为，除非 LLM 具备相应的分类学知识，否则无法让视觉大语言模型以层级方式理解我们的视觉世界。
英文原文摘要 821 字符
This paper reveals that many open-source large language models (LLMs) lack hierarchical knowledge about our visual world, unaware of even well-established biology taxonomies. This shortcoming makes LLMs a bottleneck for vision LLMs' hierarchical visual recognition (e.g., recognizing Anemone Fish but not Vertebrate). We arrive at these findings using about one million four-choice visual question answering (VQA) tasks constructed from six taxonomies and four image datasets. Interestingly, finetuning a vision LLM using our VQA tasks reaffirms LLMs' bottleneck effect because the VQA tasks improve the LLMs' hierarchical consistency in text-only tasks more than the vision LLMs'. We believe that one cannot make vision LLMs understand our visual world hierarchically until LLMs possess corresponding taxonomy knowledge.