Tag · 4 篇

多模态大模型微调

分布 视觉语言模型3图像分割1
01
视觉语言模型 / CVPR2026

WeaveTime:从早期帧流式编织出 VideoLLM 中的涌现记忆

WeaveTime: Streaming from Earlier Frames into Emergent Memory in VideoLLMs

对做流式视频理解的人,这篇给出了一个模型无关的插件式方案:用轻量时序重建目标注入顺序感知表征,再配合不确定性触发、由粗到细的 Past-Current 动态焦点缓存,在严格在线、时间因果约束下兼顾精度与延迟,可直接挂到现有 Video-LLM 上。

流式视频理解时序顺序感知检索增强推理
02
图像分割 / CVPR2026

面向胸部X光的指令引导病灶分割及自动构建的大规模数据集

Instruction-Guided Lesion Segmentation for Chest X-rays with Automatically Generated Large-Scale Dataset

把指代图像分割(RIS)迁移到胸片病灶分割,用自动化多模态流水线从图像-报告对生成 110 万条指令-答案对,并微调 LISA 类多模态大模型实现指令驱动的像素级病灶定位与文本解释,为视觉研究者提供了「用报告自动造分割监督」的可复用范式。

指代图像分割指令引导分割多模态大模型微调
03
视觉语言模型 / CVPR2026

从探索到利用:面向噪声容忍 MLLM 训练的两阶段熵 RLVR 方法

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

对做 MLLM 后训练的人,这套「先熵最大化探索、后熵最小化利用」的 token 级熵调度可直接插到 GRPO 训练循环里,用来在标注噪声大的视觉问答/多模态推理数据上稳住组内奖励方差、避免过早收敛到错标。

强化学习可验证奖励组相对策略优化token级熵正则
04
视觉语言模型 / CVPR2026

FINER:多模态大语言模型在细粒度负查询下产生幻觉

FINER: MLLMs Hallucinate under Fine-grained Negative Queries

FINER 提供了针对细粒度负查询(多物体、多属性、多关系)的幻觉基准与 DPO 微调数据构造方式,可直接用于诊断和缓解自研 MLLM 在细粒度视觉判别上的幻觉,其负查询构造思路也可迁移到 captioning、VQA 的数据筛选与偏好对构建。

幻觉评测基准直接偏好优化细粒度负样本查询