Tag · 18 篇
强化微调
VES-RFT：以视觉证据敏感性为奖励缓解大型视觉语言模型中的幻觉
VES-RFT: Rewarding Visual Evidence Sensitivity to Mitigate Hallucinations in Large Vision-Language Models
把「有图/无图两次前向的熵差」定义成可计算的视觉证据敏感度奖励，配合自动核验物体正确性的可验证奖励，用无 critic 的 GRPO 做训练时对齐；做 VLM 幻觉或视觉 grounding 的工作可以直接复用这套双奖励与并行双前向的训练范式，且推理仍是单次前向、无额外开销。
面向稀疏视频理解与推理
Towards Sparse Video Understanding and Reasoning
把「选哪些帧」变成多轮推理中的可学习决策：用对话历史作记忆、跨轮维护思维链、自纠错保证结构有效，可直接套到任意 VLM 的视频输入前端，替代均匀采样以在更少帧下提升 VQA 准确率。
TableMix：从数据中心视角增强多模态大语言模型的表格推理能力
TableMix: Enhancing Multimodal Table Reasoning in MLLMs from a Data-Centric Perspective
对做多模态表格理解或文档 VLM 的研究者，这篇给出了一个可复用的数据配方：把多模态表格数据、纯文本数学推理数据和简单多模态感知数据按比例混合，再用难度感知的 GRPO 奖励塑形，缓解预训练造成的推理能力退化；这套数据混合与奖励设计思路可以直接迁移到图表问答、文档理解等视觉推理任务的后训练中。
ReasonMap：迈向基于交通地图的细粒度视觉推理
ReasonMap: Towards Fine-Grained Visual Reasoning from Transit Maps
ReasonMap 提供了一个需要细粒度视觉理解与空间推理的基准，可用于评估和诊断 MLLM 在视觉接地上的不足；其视觉掩码分析和强化微调基线为改进多模态模型的视觉推理能力提供了可复用的评测与训练思路。
RealVLG-R1：面向机器人感知与操作的大规模真实世界视觉-语言定位基准
RealVLG-R1: A Large-Scale Real-World Visual-Language Grounding Benchmark for Robotic Perception and Manipulation
该工作提供了带边界框、分割掩码、抓取位姿与接触点统一标注的大规模真实场景视觉-语言定位数据集，并用强化微调让 VLM 在统一输出头下同时预测定位与抓取参数，可作为语言驱动操作与开放词表定位的联合评测基准。
PlannerRFT：通过闭环与样本高效微调强化扩散规划器
PlannerRFT: Reinforcing Diffusion Planners through Closed-Loop and Sample-Efficient Fine-Tuning
对做扩散策略/规划的研究者，这篇给出一种在推理管线不变的前提下，用双分支优化同时精修轨迹分布并引导去噪探索的强化微调范式，可直接迁移到机器人操作或视觉导航中的扩散策略后训练。
面向机器人抓取的障碍物推理
Obstruction Reasoning for Robotic Grasping
把「障碍物推理」形式化为以目标物体为起点的障碍路径多步推理，并用障碍感知视觉线索锚定每一步推理，再以可验证奖励做监督+强化微调；做具身操作或 VLA 的研究者可复用该推理链构造与奖励设计，UNOBench 也可作为遮挡场景抓取的评测基准。
ORIC：面向大型视觉语言模型上下文不协调下物体识别的基准测试
ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models
ORIC 通过 LLM 引导采样和 CLIP 引导采样构造上下文不协调的物体-场景对，为评估 LVLM 的物体识别鲁棒性和幻觉提供了可复用的基准与训练数据构造流程；其视觉强化微调策略也可用于提升模型在非典型场景下的识别可靠性。
MindDriver：面向自动驾驶的渐进式多模态推理
MindDriver: Introducing Progressive Multimodal Reasoning for Autonomous Driving
将VLM的思维链从纯文本扩展到语义理解→语义到物理空间想象→物理空间轨迹规划的多模态渐进推理，并用反馈引导的自动标注和渐进强化微调对齐推理过程，为端到端自动驾驶提供可复用的推理框架。
MedTVT-R1：赋能医学推理与诊断的多模态大语言模型
MedTVT-R1: A Multimodal LLM Empowering Medical Reasoning and Diagnosis
模态感知层对异构模态（影像、生理信号、文本）做自适应加权融合，配合 GRPO 强化微调与 Jaccard 奖励，可直接迁移到需要多源视觉证据联合推理的医学 VQA 与报告生成任务。
学习拒答：面向视频时序定位中难负相关查询的拒答感知强化微调
Learning to Refuse: Refusal-Aware Reinforcement Fine-Tuning for Hard-Irrelevant Queries in Video Temporal Grounding
把 GRPO 强化微调引入 VTG，用格式、拒答-IoU、解释、查询纠正四类奖励让 LVLM 学会对语义相近但实际无关的难负查询输出拒答，可直接迁移到任何需要「无目标即拒答」的定位/检索式视觉任务。
FusionAgent：面向人体识别的动态模型选择多模态智能体
FusionAgent: A Multimodal Agent with Dynamic Model Selection for Human Recognition
把每个生物特征专家模型当作可调用工具，用 MLLM 智能体配合指标驱动的强化微调，为每个测试样本动态选择模型组合，并用基于锚点的置信度 Top-k 融合解决分数错位与嵌入异质性问题；这套「动态模型选择 + 置信度感知融合」思路可直接迁移到多模态或多模型集成的视觉识别系统。
面向图像与视频的快速推理分割
Fast Reasoning Segmentation for Images and Videos
把推理分割的推理链蒸馏进 0.6B 小模型，用数字孪生表征解耦感知与推理，再以分割精度+推理质量联合奖励做强化微调，为边缘端实时开放词表分割提供可复用范式。
EMAD：面向阿尔茨海默病的以证据为中心的可定位多模态诊断
EMAD: Evidence-Centric Grounded Multimodal Diagnosis for Alzheimer's Disease
把「句子→证据短语→3D MRI 解剖结构」的分层视觉定位机制与可验证奖励的强化微调结合，可复用于任何需要让生成式报告中的每条结论落到具体图像区域的可解释医学视觉语言任务；GTX-Distill 用弱监督教师向模型自生成报告的学生迁移定位行为，为降低密集标注成本提供了可借鉴范式。
面向强化微调的动态重要样本挖掘
Dynamic Important Example Mining for Reinforcement Finetuning
对做视觉推理模型（如多模态大模型、视觉问答）的研究者，DIEM 提供了一种在 RFT 阶段按梯度对齐动态估计样本边际贡献并做约束式批重加权的通用手段，可直接迁移到视觉推理数据的采样与课程设计上。
CGL：通过强化微调推进持续 GUI 学习
CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning
对做多模态 GUI 智能体或 VLM 智能体持续学习的人，这篇给出了 SFT 与 RL（GRPO）混合训练时避免灾难性遗忘的具体手段：用策略熵调节 SFT 比例，并把 SFT 梯度投影到 GRPO 锚框梯度上做梯度手术，可直接迁移到其他 VLM 智能体的增量适配场景。
利用可行动作邻域先验提升视觉-语言-动作模型微调
Boosting Vision-Language-Action Finetuning with Feasible Action Neighborhood Prior
对做 VLA/机器人策略学习的人，这篇给出了一个可直接复用的正则化手段：把「每个状态存在一族近似等价动作」这一物理先验编码成高斯输出分布约束，替代从语言模型直接继承的交叉熵式训练，从而在 SFT 与 RFT 两种微调范式下同时提升样本效率与 OOD 成功率。
超越多项选择：面向鲁棒视觉语言强化微调的可验证开放问答
Beyond Multiple Choice: Verifiable OpenQA for Robust Vision-Language RFT
为视觉语言模型提供可验证的开放问答数据构造与自动验证流程，可直接用于强化微调（RFT）和更可靠的基准评测，避免多项选择选项泄露带来的奖励信号偏差。