Tag · 2 篇
多模态大语言模型微调
分布 视觉语言模型13D 视觉与重建1
01 02
VinQA:面向真实世界多模态文档问答的视觉元素交错长答案生成
VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA
提出将文档页面中的视觉元素(表格、图表、照片等)与文本交错生成长篇答案的任务,并系统比较了整页编码与模态编码两种视觉元素输入方式,为多模态文档理解与生成提供了可复用的数据构建、编码方案和评测框架(M-GroSE、Visual Source F1)。
MotionMaster:可泛化的文本驱动运动生成与编辑
MotionMaster: Generalizable Text-Driven Motion Generation and Editing
把预训练多模态大语言模型微调成文本到人体运动(3D 骨骼序列)的生成与编辑模型,并用 FSQ 分词器把运动离散成 token 与语言共享嵌入空间;对做 3D 人体动作/动画的研究者,这是一条可直接复用的「LLM 当运动先验 + 离散运动 token」路线。