Tag · 6 篇
图表理解
Twin-T 与 TwintVQA:一种可靠的结构-细节分离 VLM 及面向图表与表格任务的综合基准
Twin-T & TwintVQA: A Reliable Structure-Detail Separating VLM and a Comprehensive Benchmark for Chart and Table Tasks
双头图像编码器分离结构线索与细节的思路可迁移到其他需要同时理解布局和细粒度内容的视觉任务(如文档分析、场景文本理解);MINT 偏好学习方法强调数值与关键词保真度,为提升 VLM 在数值敏感任务上的可靠性提供了可复用的训练策略。
SketchVL:通过细粒度信用分配的策略优化用于图表理解及其他任务
SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More
把中间推理步骤以「在图上画标记」的形式外化并回灌给模型,再用过程奖励模型对每一步打分做细粒度信用分配,这套「视觉标注式思维链 + 步级 RL」可直接迁移到需要精确空间定位的视觉推理任务(图表、几何、文档、计数)。
面向图表识别的短语定位感知监督微调:基于侧路掩码注意力
Phrase-Grounding-Aware Supervised Fine-Tuning for Chart Recognition via Side-Masked Attention
把短语级视觉定位作为辅助监督信号插入 LLM 每一层 Transformer 的侧路掩码注意力中,为 VLM 微调提供区域级参考 logit;做文档/图表理解或需要细粒度区域对齐的 VLM 微调时可直接复用该侧路注意力设计。
Diagram2Structure:通过 DiagramDiff 解锁大语言模型的图表理解能力——一个面向离线图表结构化的框架
Diagram2Structure: Unlocking LLMs' Diagram Comprehension through DiagramDiff, a Framework for Structuring Offline Diagrams
把离线图表图像重建为标准化结构化数据(元素实例+关系),再交给 LLM 做语义推理与编辑,为视觉-语言模型处理结构化图形提供了一条「先结构化、后推理」的可复用管线,也给出了图表重建与元素识别的评测设定。
ChartNet:面向鲁棒图表理解的百万级高质量多模态数据集
ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding
对做图表理解或多模态文档理解的视觉研究者,ChartNet 提供了百万级、五元对齐(绘图代码/图像/数据表/摘要/带推理问答)的监督信号,可直接用于微调 VLM 并检验其在几何图形与结构化数值联合推理上的泛化能力。
Chart-FR1:面向稠密图表的视觉聚焦驱动细粒度推理
Chart-FR1: Visual Focus-Driven Fine-Grained Reasoning on Dense Charts
Focus-CoT 把推理步骤显式锚定到局部图像区域与 OCR 信号上,配合带信息效率奖励的 Focus-GRPO 压缩冗余视觉 token,这套「视觉聚焦+自适应推理深度」的机制可直接迁移到文档、图表、密集标注场景的多模态推理,也为视觉 token 冗余问题提供了 RL 层面的解法。