Tag · 14 篇
监督微调
一帧世界:将文化混合理解为视觉语言模型的新挑战
World in a Frame: Understanding Culture Mixing as a New Challenge for Vision-Language Models
为 LVLM 研究提供了一个可复用的文化混合 VQA 基准与四种子任务设定,并验证了用扩散生成的多文化混合数据做监督微调可显著降低模型对背景的依赖、提升跨上下文预测一致性,可作为评估和缓解 LVLM 背景偏置的参考范式。
训练单一模型通过强化学习掌握跨层级智能体动作
Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning
论文提出的多轮 GRPO 训练流程与自适应动作粒度切换机制,可迁移到视觉-语言-动作模型(VLA)或 GUI 智能体中,让模型在长程视觉任务里自主决定何时用高层 API、何时用低层像素级操作,从而提升长程推理的效率与泛化。
以最少微调数据实现高效医学推理
Towards Efficient Medical Reasoning with Minimal Fine-Tuning Data
对做医学 VLM 适配的人,这篇给出了一个可直接复用的数据筛选准则:用样本梯度影响与难度的二维象限联合打分,只保留「高难度-高影响」样本,从而在 1% 数据下逼近全量微调效果,可迁移到任意 VLM 的领域 SFT 数据蒸馏流程。
SpatialTree:空间智能在多模态大模型中如何分支
SpatialTree: How Spatial Intelligence Branches Out in MLLMs
该论文提出的空间能力层级分类和基准测试,为评估多模态大模型的空间智能提供了系统化框架;其发现的负迁移现象和auto-think强化学习策略,对设计视觉-语言模型的空间推理训练方法有直接启发。
SpatialScore:迈向空间智能的全面评测
SpatialScore: Towards Comprehensive Evaluation for Spatial Intelligence
该基准覆盖 30 类空间任务与多种视觉数据形态,可直接用于诊断视觉语言模型在空间关系、视角变换上的短板;其 331K 监督微调语料与 12 个空间感知工具构成的多智能体框架,为在视觉模型中注入空间推理能力提供了可复用的数据与免训练工具编排思路。
Skyra:基于接地伪影推理的AI生成视频检测
Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning
提出基于多模态大语言模型的伪影定位与推理框架,可复用于其他可解释视觉检测任务;构建的细粒度伪影标注数据集与基准为后续研究提供评测基础。
重新审视以视觉为中心的推理泛化中长思维链的必要性
Revisiting the Necessity of Lengthy Chain-of-Thought in Vision-centric Reasoning Generalization
对做视觉推理 SFT 数据构造的人有直接指导:不必堆长 CoT 或图像操作式 CoT,只保留关键视觉定位步骤的极简 CoT 反而在不同难度(网格尺寸)上泛化最好,可作为构建可泛化视觉推理训练数据的默认策略。
面向图表识别的短语定位感知监督微调:基于侧路掩码注意力
Phrase-Grounding-Aware Supervised Fine-Tuning for Chart Recognition via Side-Masked Attention
把短语级视觉定位作为辅助监督信号插入 LLM 每一层 Transformer 的侧路掩码注意力中,为 VLM 微调提供区域级参考 logit;做文档/图表理解或需要细粒度区域对齐的 VLM 微调时可直接复用该侧路注意力设计。
OpenMMReasoner:以开放通用方案推动多模态推理前沿
OpenMMReasoner: Pushing the Frontiers in Multimodal Reasoning with an Open and General Recipe
提供了一套透明可复现的多模态推理训练流程(SFT+RL),视觉研究者可直接复用其数据构建与训练设计来提升VLM的推理能力,或作为基线进行对比。
OctoMed:面向最优多模态医学推理的数据配方
OctoMed: Data Recipes for State-of-the-Art Multimodal Medical Reasoning
对做医学 VLM 的人,这篇给出了可复用的 SFT 数据配方:用长度多样的结构化推理链做监督微调,模型就能在下游任务上自适应地决定推理长度,无需额外监督;可直接迁移到自建医学多模态推理模型的训练数据构造与配比设计上。
HiSpatial:在视觉语言模型中驯服分层 3D 空间理解
HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models
把度量尺度点图作为辅助输入注入 VLM,并用四级递进的空间 VQA 数据(约 5M 图像、45M 物体)做监督微调,是提升视觉语言模型 3D 空间理解的一条可复用数据与输入表征路线。
利用可行动作邻域先验提升视觉-语言-动作模型微调
Boosting Vision-Language-Action Finetuning with Feasible Action Neighborhood Prior
对做 VLA/机器人策略学习的人,这篇给出了一个可直接复用的正则化手段:把「每个状态存在一族近似等价动作」这一物理先验编码成高斯输出分布约束,替代从语言模型直接继承的交叉熵式训练,从而在 SFT 与 RFT 两种微调范式下同时提升样本效率与 OOD 成功率。
AutoCut:基于多模态离散化与可控生成的端到端广告视频编辑
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
把视频、音频用残差向量量化离散成与文本对齐的统一词元,再用多模态大语言模型自回归预测词元序列来驱动视频剪辑与生成,为视觉研究者提供了一条「离散词元 + 语言模型」做长视频可控编辑的可复用路线。
Act2See:面向视频推理的涌现式主动视觉感知
Act2See: Emergent Active Visual Perception for Video Reasoning
把「取帧/生成帧」作为可学习的动作嵌入文本思维链,让 VLM 在推理过程中自主决定何时检索真实帧、何时合成反事实帧;这一「主动视觉感知」范式可直接迁移到需要多步视觉证据获取的视频问答与长视频理解任务。