Tag · 2 篇
表格识别
01 02
TRivia:面向表格识别的视觉语言模型自监督微调
TRivia: Self-supervised Fine-tuning of Vision-Language Models for Table Recognition
把 GRPO 式的强化学习自监督微调用在 VLM 上,用「识别结果能否被正确问答」构造无需标注的奖励信号,并配注意力引导的多样化问题生成;这套闭环奖励设计可迁移到任何缺乏标注的结构化图像解析任务(如公式、图表、版面解析)。
TDATR:通过表格细节感知学习和单元格级视觉对齐改进端到端表格识别
TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment
论文提出的结构引导的单元格定位模块和单元格级视觉-语言对齐方法,可被其他需要细粒度视觉-语言对齐的文档理解任务(如表格问答、文档布局分析)借鉴;其“先感知后融合”策略和利用多任务学习增强数据效率的思路,对数据受限场景下的视觉-语言模型训练有参考价值。