Tag · 7 篇
细粒度识别
超越标签的思考:基于推理增强LMM的无词表细粒度识别
Thinking Beyond Labels: Vocabulary-Free Fine-Grained Recognition using Reasoning-Augmented LMMs
利用推理增强的LMM自动生成并筛选细粒度类别名称,再实例化为轻量多模态分类器,为无词表细粒度识别提供了可复用的三阶段流程,并证明开源LMM在精心设计提示下可媲美闭源模型。
像专家一样观察:面向开放集细粒度视觉理解的知识增强智能体
Seeing as Experts Do: A Knowledge-Augmented Agent for Open-Set Fine-Grained Visual Understanding
将开放词表检测与网络级检索结合生成类别假设,并通过全局到局部的聚焦机制将检索到的文本知识转化为空间定位证据,为视觉语言模型提供可验证的细粒度推理依据。
相同还是不同?增强视觉语言模型的视觉感知
Same or Not? Enhancing Visual Perception in Vision-Language Models
TWIN 提供了一种可直接加入 VLM 训练语料的图像对「同/不同」判别任务,用来强化模型对细微视觉差异的注意力;做 VLM 微调或细粒度识别时,可把它当作低成本的数据侧增强手段,并用 FGVQA 这类改造自细粒度识别与检索数据集的基准来量化感知精度提升。
RealBirdID:多模态大模型时代的鸟类物种识别基准
RealBirdID: Benchmarking Bird Species Identification in the Era of MLLMs
为细粒度视觉识别引入「可弃权」评测协议:模型需在不可回答样本上给出带证据的理由(如需要鸣声、图像质量低、视角遮挡),可直接迁移到其他细粒度分类或开放世界识别任务中,用于衡量模型的校准性与拒识能力,而非只测闭集准确率。
并非所有鸟都长得一样:面向鸟类的身份保持生成
Not All Birds Look The Same: Identity-Preserving Generation For Birds
针对非刚性细粒度类别(鸟类)的身份保持生成,提出按物种、年龄、性别分组训练作为身份代理,可迁移到其他缺乏多视角/视频数据的细粒度域(如动植物、时尚单品)的定制化生成。
自由粒度层级视觉识别
Free-Grained Hierarchical Visual Recognition
把视觉语言模型的语义先验和半监督学习引入层级分类,用于处理训练标签粒度不统一的现实场景;其「自由粒度推理」让模型按置信度自适应选择预测深度,这一思路可迁移到任何需要输出粗细可变预测的视觉任务。
DiT-Distill:通过生成式课程知识实现开放集细粒度检索
DiT-Distill: Open-Set Fine-Grained Retrieval via Generative Curriculum Knowledge
把 DiT 多时间步的生成式知识通过课程对齐损失蒸馏进轻量骨干网络,实现免 DiT 推理,为视觉检索/表征学习提供了一条「用生成模型当教师、按扩散时间步组织课程」的可复用蒸馏范式。