Tag · 5 篇
文档理解
视觉文档理解与推理:一种带智能体级自适应测试时扩展的多智能体协作框架
Visual Document Understanding and Reasoning: A Multi-Agent Collaboration Framework with Agent-Wise Adaptive Test-Time Scaling
把视觉文档理解拆成规划、执行、判断、回答四个智能体并做智能体级自适应测试时扩展,为 VLM 在复杂多步推理场景下提供了一种可复用的「程序化扩展」替代单体模型堆参数的思路。
MiniCPM-V 4.5:通过架构、数据与训练配方打造高效多模态大模型
MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe
3D-Resampler 对图像与视频做高度紧凑的视觉编码,配合混合强化学习在短/长推理模式间切换,为视觉侧提供了一条在 8B 规模下同时压低显存与推理耗时的可复用路线;其视频 token 压缩策略对做视频 MLLM 的效率优化尤其有参考价值。
MarkushGrapher-2:端到端多模态化学结构识别
MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures
该工作将文本、图像与版面信息通过视觉-文本-版面编码器与光学化学结构识别视觉编码器联合编码,并采用两阶段训练策略融合,为文档图像中的多模态结构识别提供了可复用的编码与融合范式。
DocSeeker:面向长文档理解的结构化视觉推理与证据定位
DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding
针对长文档理解中低信噪比和监督稀缺问题,提出结构化视觉推理流程与证据感知的强化学习优化方法,可复用于需要定位关键视觉证据的多模态任务。
DocPrune:通过背景、问题和理解感知的词元剪枝实现高效文档问答
DocPrune: Efficient Document Question Answering via Background, Question, and Comprehension-aware Token Pruning
针对文档图像中背景冗余和证据稀疏的特点,提出免训练的词元剪枝方法,可复用于其他视觉语言模型的长文档理解任务,提升推理效率。