Tag · 7 篇
图像描述
RxnCaption：将反应图解析重构为视觉提示引导的图像描述
RxnCaption: Reformulating Reaction Diagram Parsing as Visual Prompt Guided Captioning
将坐标预测式解析重构为图像描述任务，并利用视觉提示（边界框与索引）引导 LVLM，为文档图像的结构化信息提取提供了可复用的范式。
RE-VLM：事件增强的视觉语言模型用于场景理解
RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding
将事件相机作为补充模态引入视觉语言模型，通过双流编码器和渐进式训练对齐异构特征，为低光照、高动态范围等挑战性场景下的视觉语言理解提供了可复用的多模态融合方案。
MM-SeR：面向轻量级图像描述的多模态自精炼
MM-SeR: Multimodal Self-Refinement for Lightweight Image Captioning
把 MLLM 的语言部分换成 125M 小模型后仍能保持事实性描述能力，这一发现提示视觉研究者：做图像描述时不必依赖大语言模型的复杂推理；其「先粗后细」的自精炼流程（用粗描述定位显著区域再重描述）可作为轻量 VLM 的通用解码策略复用。
语言在跨域少样本视觉特征增强中至关重要
Language Does Matter for Cross-Domain Few-Shot Visual Feature Enhancement
该论文提出用图像描述模型和LLM分别提取图像级与域级语言属性，并通过轻量残差交叉注意力将语言描述嵌入视觉特征，以增强跨域少样本场景下的视觉特征泛化能力。这一思路可复用于任何需要提升预训练视觉特征跨域迁移性的视觉任务，如分类、分割和检测。
GeoDiT：面向地理空间理解的基于扩散的视觉语言模型
GeoDiT: A Diffusion-based Vision-Language Model for Geospatial Understanding
把地理空间视觉语言生成从自回归序列解码换成扩散式并行精修，对做遥感 captioning、visual grounding 和多目标检测的人提供了一个可直接替换解码范式的思路，尤其适合需要结构化、对象级输出的场景。
跨模态恒等映射：通过强化学习最小化模态转换中的信息损失
Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning
提出用图文检索相似度作为强化学习奖励信号，无需人工标注即可优化LVLM的图像描述，减少模态转换中的信息损失；该奖励设计可迁移到其他需要细粒度视觉理解的生成任务。
CCCaption：面向完整与正确图像描述的双奖励强化学习
CCCaption: Dual-Reward Reinforcement Learning for Complete and Correct Image Captioning
提出基于双奖励强化学习的图像描述训练框架，利用多个LVLM分解视觉查询来评估完整性和正确性，可复用于其他视觉语言生成任务的奖励设计。