小目标，大挑战：小目标视觉定位基准
Small Object, Great Challenge: A Benchmark for Small Object Visual Grounding
对做视觉定位的研究者，这篇提供了小目标场景的评测基准 RefCOCOs 与基于 MLLM 的自动数据构建流水线，可直接用于检验现有 VG 模型在尺度分布偏移下的失效模式；SoVG-Net 的分层文本注入模块也给出了把多层级语言特征注入视觉骨干的具体做法。
原文依据 we propose a novel benchmark for small object visual grounding, i.e., SoVG
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论视觉定位（visual grounding，VG）任务旨在根据指代表达在图像中定位或分割目标。现有的 VG 研究主要关注大目标。然而，这些图像中往往包含各种尺度的目标。尽管大目标通常是视觉焦点，但小目标有时承载着关键信息。为弥补这一空白，我们提出了一个面向小目标视觉定位的新基准，即 SoVG。具体而言，我们引入了一条利用多模态大语言模型（MLLM）构建基准数据集的自动化流水线。该流水线建立在常用数据集 COCO 之上，由此得到我们的 RefCOCOs 数据集。RefCOCOs 中视觉目标的平均面积仅为整幅图像面积的 1/50，而经典 VG 数据集中该比例为 1/5。此外，针对这一新的 SoVG 任务，我们提出了带有分层文本注入模块的 SoVG-Net。最后，我们使用经典数据集与我们的 RefCOCOs 开展了大量实验。结果表明，我们构建的数据集有助于推进 VG 研究，且我们提出的 SoVG-Net 是一个强有力的基线。我们的数据集与代码将在评审结束后公开。
英文原文摘要 1132 字符
The task of visual grounding (i.e., VG) aims to locate or segment objects in images based on referring expressions. Existing research on VG primarily focuses on large objects. However, these images often contain objects at various scales. Although large objects are usually the visual focus, small objects sometimes carry crucial information. To bridge the gap, we propose a novel benchmark for small object visual grounding, i.e., SoVG. Specifically, we introduce an automatic pipeline using MLLMs to build a benchmark dataset. Our pipeline is built on the popular dataset COCO. Thus, we obtain our RefCOCOs dataset. The visual objects in our RefCOCOs have an average area of 1/50 area of an entire image, whereas that of classic VG datasets is 1/5. Furthermore, we propose SoVG-Net with a hierarchical textual infusion module for the novel SoVG task. Finally, we conduct extensive experiments using classic datasets with our RefCOCOs. The results showcase that our built dataset is useful for advancing VG research, and our proposed SoVG-Net is a strong baseline. Our dataset and code will be made publicly available after review.