Tag · 71 篇

多模态大模型

分布 视觉语言模型47高效模型与推理加速7鲁棒性与安全4视频理解与时序3数据集与评测2生成模型与扩散2图像编辑与可控生成2医学影像与生物视觉2自监督与表征学习1可解释性与可视化1
01
视觉语言模型 / CVPR2026

VideoARM:面向长视频理解的分层记忆智能体推理

VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

提出一种无需穷举预处理的自适应智能体推理框架,通过控制器调用工具进行由粗到细的视频解析,并维护分层多模态记忆,为长视频理解中的高效多模态大模型推理提供了可复用的记忆构建与工具调度机制。

智能体推理分层记忆长视频理解
02
视觉语言模型 / CVPR2026

Venus:面向美学指导与裁剪的多模态大语言模型基准构建与能力增强

Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping

把「美学指导」定义为一个可评测的 MLLM 能力,并用两阶段(渐进式美学问答 + CoT 理由)微调把该能力迁移到裁剪重构图任务上,可作为条件化生成/编辑中「可解释美学先验」的可复用范式。

多模态大模型美学评估思维链推理
03
视觉语言模型 / CVPR2026

VITAL:以视觉编码器为中心的视觉质量评估多模态大模型预训练

VITAL: Vision-Encoder-centered Pre-training for LMMs in Visual Quality Assessment

以视觉编码器为中心的生成式预训练流程,配合机器执行的标注-审查范式构建大规模视觉-语言对,为视觉质量评估等低层感知任务提供可零样本迁移的多模态大模型底座;其解码器仅需极少预热数据即可复现全量训练性能,为视觉-语言模型的高效扩展提供可复用方案。

视觉质量评估多模态大模型生成式预训练
04
数据集与评测 / CVPR2026

UniM:统一任意到任意交错多模态基准

UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark

为视觉研究者提供了一个覆盖图像、视频、文档、3D 等 7 种模态、要求理解与生成交错进行的评测基准,可用于检验 MLLM 在跨模态交错推理与结构化生成上的能力,其三维度评测协议(语义正确性、结构完整性、交错连贯性)也可直接迁移到视觉生成任务的评测设计中。

多模态大模型交错多模态生成统一理解与生成
05
数据集与评测 / CVPR2026

UNICBench:面向多模态大模型的统一计数基准

UNICBench: UNIfied Counting Benchmark for MLLM

为视觉研究者提供了一套跨图像/文本/音频的统一计数评测协议与工具包(固定划分、确定性数值解析、分层报告),可直接用于诊断 MLLM 在视觉计数上的长尾失效,并作为计数类视觉任务的数据与指标参照。

多模态基准计数能力评测评测协议标准化
06
高效模型与推理加速 / CVPR2026

TransPrune:面向高效大型视觉语言模型的词元变化剪枝

TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model

对做 LVLM 视觉侧推理加速的人,可直接复用「词元表征在模块间传播时的幅值与方向变化」作为重要性信号,替代有位置偏置的注意力/相似度准则,且免训练即可插到 LLaVA、Qwen2.5-VL 等架构中。

视觉词元剪枝免训练加速多模态大模型
07
视觉语言模型 / CVPR2026

词元变换帮助多模态大模型从邻近视角观察

Token Warping Helps MLLMs Look from Nearby Viewpoints

把视角变换从像素域搬到 ViT 词元域,用反向词元 warping 替代像素 warping,为 MLLM 提供对深度误差更鲁棒的视角外推手段;做多视角/具身推理的可以直接复用这一词元级几何对齐思路。

视觉词元变换视角变换多模态大模型
08
视觉语言模型 / CVPR2026

在不确定性中思考:利用潜变量熵感知解码缓解多模态大模型中的幻觉

Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding

提出一种基于熵感知的解码策略,通过概率加权连续嵌入和视觉锚框注入来缓解多模态大模型在视觉问答中的幻觉,可作为一种即插即用的推理时增强手段用于视觉语言模型。

多模态大模型解码策略幻觉缓解
09
视频理解与时序 / CVPR2026

TempR1:通过时序感知多任务强化学习提升多模态大模型的时序理解能力

TempR1: Improving Temporal Understanding of MLLMs via Temporal-Aware Multi-Task Reinforcement Learning

把 GRPO 强化学习扩展到多任务时序训练,并按区间-实例对应关系设计定位奖励,可直接用于长视频时序定位与时间敏感问答的 MLLM 后训练。

多任务强化学习GRPO时序定位
10
视觉语言模型 / CVPR2026

告诉模型该看哪里:以视觉引导注意力缓解多模态大模型中的幻觉

Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention

VGA 利用视觉词元的语义内容构造精确视觉定位,并在推理时用该定位重定向注意力,为视觉研究者提供了一种免训练、兼容 FlashAttention 的注意力干预手段,可直接用于缓解 MLLM 的视觉幻觉与提升区域级视觉理解。

多模态大模型注意力引导免训练推理
11
视觉语言模型 / CVPR2026

以博弈论多智能体协作框架应对模型偏差的仇恨模因分类

Tackling Model Bias via Game-theoretic Multi-agent Collaboration Framework for Hateful Meme Classification

把多个 LMM 当作博弈参与者,用个体准确率与跨模型一致性构成的混合奖励引导它们收敛到合作均衡,这一思路可直接迁移到任何需要多模态模型集成或投票的视觉-语言任务(如 VQA、多模态事实性判别),用来缓解单个模型的认知偏差。

多智能体协作博弈论均衡多模态大模型
12
视觉语言模型 / CVPR2026

SpatialTree:空间智能在多模态大模型中如何分支

SpatialTree: How Spatial Intelligence Branches Out in MLLMs

该论文提出的空间能力层级分类和基准测试,为评估多模态大模型的空间智能提供了系统化框架;其发现的负迁移现象和auto-think强化学习策略,对设计视觉-语言模型的空间推理训练方法有直接启发。

多模态大模型空间推理基准测试
13
生成模型与扩散 / CVPR2026

ShowTable:通过协同反思与精炼解锁创意表格可视化

ShowTable: Unlocking Creative Table Visualization with Collaborative Reflection and Refinement

把 MLLM 当作规划与错误评判的编排器、扩散模型当作执行器,通过渐进式自纠正循环把结构化数据映射为高保真信息图,这一「推理-生成-纠错」闭环可迁移到任何需要精确数据到视觉映射的条件生成任务。

多模态大模型扩散模型自纠正
14
视觉语言模型 / CVPR2026

SegEarth-R2:面向遥感图像的综合语言引导分割

SegEarth-R2: Towards Comprehensive Language-guided Segmentation for Remote Sensing Images

面向遥感场景的语言引导分割,用 MLLM 直接输出分割结果;其空间注意力监督机制可迁移到小目标与部件级定位任务,灵活的分割查询机制为单目标/多目标统一建模提供了可复用设计。

遥感图像分割多模态大模型语言引导分割
15
视觉语言模型 / CVPR2026

看见关键之处:一种免训练的自引导多模态细节感知与推理框架

Seeing What Matters: A Training-Free Self-Guided Framework for Multimodal Detail Perception and Reasoning

提出免训练的双分支关键区域定位(梯度语义相关图 + 视觉词元独特性)与渐进式视觉词元剪枝,可直接插入现成 MLLM 的推理流程,用于提升高分辨率细节感知并降低计算量,对做 VLM 细粒度理解与高效推理的人可复用。

多模态大模型视觉词元剪枝免训练推理
16
视觉语言模型 / CVPR2026

Score2Instruct:通过自动维度评分扩展以视频质量为中心的指令

Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring

提出基于自动维度评分的指令生成流水线(SIG),将无标注视频的多维质量分数映射为文本等级并构造分层思维链,为视频 LMM 提供可扩展的质量指令数据;其渐进式微调策略与 S2I-Bench 可直接用于评估和提升视频 LMM 的质量评分与解释能力。

视频质量评估指令微调思维链
17
视觉语言模型 / CVPR2026

STAR-R1:通过强化多模态大模型实现多视图空间变换推理

STAR-R1: Multi-View Spatial TrAnsformation Reasoning by Reinforcing Multimodal LLMs

把可验证奖励的强化学习(RLVR)与过程监督 SFT 两阶段结合,用于多视图空间变换推理;其「指代感知奖励」设计可直接迁移到需要跨视图物体对应的 VLM 空间理解任务(如 MMSI-Bench、MindCube 类基准)。

多视图空间推理强化学习微调思维链
18
视觉语言模型 / CVPR2026

SMAP:基于地图锚定的多模态对齐的语义路线规划

SMAP: Semantic Route Planning with Map-Grounded Multimodal Alignment

把地图瓦片当作视觉输入喂给多模态大模型,并用「草稿—校验」自编辑加幻觉惩罚 DPO 抑制空间幻觉,这套「视觉证据校验 + 偏好对齐」流程可迁移到任何需要地理/空间落地的视觉-语言任务(如视觉导航、地图问答、具身路径规划)。

多模态大模型直接偏好优化地图瓦片视觉定位
19
鲁棒性与安全 / CVPR2026

重新审视 LVLM 中的视觉损坏:从形状-纹理视角看模型失效

Revisiting Visual Corruptions in LVLMs: A Shape-Texture Perspective on Model Failures

提出免训练的对比解码框架 ST-CD,通过构造形状与纹理互补的对比视图并在推理时自适应融合来纠正偏置,可直接迁移到任何 LVLM 的推理阶段以提升对视觉损坏的鲁棒性,无需微调。

对比解码视觉损坏鲁棒性免训练推理
20
高效模型与推理加速 / CVPR2026

重访多模态 KV 缓存压缩:一种频域引导的离群 KV 感知方法

Revisiting Multimodal KV Cache Compression: A Frequency-Domain-Guided Outlier-KV-Aware Approach

对做多模态大模型视觉侧推理的人来说,这篇给出了一个绕开注意力分数、直接对 KV 矩阵做频域主成分建模来识别并保留离群 KV 的压缩思路,且与 FlashAttention 等高效注意力核兼容,可直接用于视觉 token 极长的多图/视频输入场景降低解码延迟与显存。

KV-Cache-压缩频域分析动态预算分配
21
自监督与表征学习 / CVPR2026

在基础模型时代重新审视模型拼接

Revisiting Model Stitching In the Foundation Model Era

提出在目标模型倒数第二层使用简单特征匹配损失训练拼接层,使异构视觉基础模型(如 CLIP、DINOv2、SigLIP2)可靠拼接,为多模态大模型共享早期层、灵活组合不同 VFM 优势提供可复用技术。

模型拼接视觉基础模型表征兼容性
22
视觉语言模型 / CVPR2026

R-4B:通过双模式退火与强化学习激发多模态大模型中的通用自动思考

R-4B: Incentivizing General-Purpose Auto-Thinking in MLLMs via Bi-Mode Annealing and Reinforce Learning

为视觉语言模型引入「按输入复杂度自动决定是否展开逐步推理」的双模式机制,配合双 rollout 强化学习策略,可直接迁移到需要兼顾精度与推理成本的 VQA、图文推理等视觉任务部署中。

自适应推理强化学习多模态大模型
23
视觉语言模型 / CVPR2026

基于记忆反馈的问题引导视觉压缩用于长视频理解

Question-guided Visual Compression with Memory Feedback for Long-Term Video Understanding

提出问题引导的多模态选择性注意力(QMSA),将上下文记忆中的历史帧反馈到当前感知,用于压缩长视频中的视觉 token;该机制可复用于任何需要长时序视觉 token 压缩的 VLM 推理流程。

长视频理解多模态大模型视觉压缩
24
可解释性与可视化 / CVPR2026

PhaseWin 搜索框架实现高效的目标级解释

PhaseWin Search Framework Enable Efficient Object-Level Interpretation

把子模子集选择的归因从二次代价的贪心搜索换成近线性的分阶段粗到细窗口搜索,可直接套用到 Grounding DINO、Florence-2 这类目标级多模态模型的区域归因与显著性解释上,让高保真归因在真实推理预算内可用。

子模子集选择区域归因多模态大模型
25
视觉语言模型 / CVPR2026

解析、搜索与确认:基于思维链推理与结构化空间记忆的免训练航拍视觉对话导航

Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory

把免训练 MLLM 的导航能力拆成「解析指令—搜索探索—确认验证」三段思维链,并配一个融合多尺度观测、视觉记忆与几何记忆的结构化空间记忆,可直接迁移到任何需要长时程空间推理的视觉语言任务(如视觉定位、具身导航)。

思维链推理视觉语言导航免训练方法
26
视觉语言模型 / CVPR2026

POINTS-Long:多模态大模型中的自适应双模式视觉推理

POINTS-Long: Adaptive Dual-Mode Visual Reasoning in MLLMs

对做长视频/流式多模态理解的视觉研究者,这篇提供了可动态缩放的视觉词元方案:focus/standby 双模式在推理时按需在精度与效率间切换,配合可动态分离的 KV-cache 维持超长视觉记忆,可直接借鉴到视觉编码器到 LLM 的词元预算分配与流式记忆管理环节。

视觉词元压缩流式视频理解KV-cache-管理
27
视觉语言模型 / CVPR2026

一个Token,两种命运:通过视觉Token操控对抗多模态大模型幻觉的统一框架

One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination

对做多模态大模型幻觉的研究者,这篇给出了一个免训练、只在潜空间操作的视觉token双向用法:用增强图像的token强化视觉表征,用剪枝后的token构造潜空间负样本校正语言先验偏置,可直接插到LLaVA类模型的推理流程里,代价仅1.06倍延迟。

多模态大模型幻觉抑制视觉token剪枝
28
高效模型与推理加速 / CVPR2026

一层的垃圾是另一层的宝藏:LVLM 中的自适应逐层视觉词元选择

One Layer's Trash is Another Layer's Treasure: Adaptive Layer-wise Visual Token Selection in LVLMs

对做多模态大模型视觉侧推理加速的人,这篇给出了「按层动态选择视觉词元 + 被跳过词元在后续层重新汇入」的免训练方案,并用重要性一致性约束的低秩近似来逼近全注意力,可直接替换现有静态剪枝模块以缓解早期层信息丢失。

视觉词元剪枝低秩近似免训练推理加速
29
视觉语言模型 / CVPR2026

Omni-MMSI:面向身份归属的社交交互理解

Omni-MMSI: Toward Identity-attributed Social Interaction Understanding

论文提出从原始音视频与语音中联合感知「谁说了什么、指向谁」的身份归属线索,并在此基础上做思维链社交推理;对视觉研究者而言,可复用其参与者级参考对构建方式与参考引导的多模态推理流程,用于需要身份绑定的多人视频理解任务。

多模态大模型社交交互理解身份归属
30
视觉语言模型 / CVPR2026

OSMO:开放词表自我情绪跟踪

OSMO: Open-vocabulary Self-eMOtion Tracking

OSIRIS 把用户个人情绪历史、当前表情与第一人称视觉观测一起作为多模态大模型的输入做时序推理,这种「历史状态 + 当前观测」的上下文建模方式可迁移到需要连续状态跟踪的视觉任务(如行为/事件跟踪、个性化助手);OSMO 的逐被试情绪时间线标注协议也为构建连续标签的多模态数据集提供参考。

多模态大模型情感计算第一人称视觉
31
视频理解与时序 / CVPR2026

OASIS:面向流式视频推理的按需分层事件记忆

OASIS: On-Demand Hierarchical Event Memory for Streaming Video Reasoning

把无限增长的流式视频历史组织成分层事件结构,并用「先短上下文推理、不确定时再按高层意图检索」的按需检索策略替代稠密帧采样或嵌入相似度检索,可直接迁移到长视频问答与流式 MLLM 的记忆管理模块。

流式视频推理分层事件记忆按需检索
32
高效模型与推理加速 / CVPR2026

以文本为主、视觉为辅:面向大型视觉语言模型的非对称文本-视觉剪枝

Mostly Text, Smart Visuals: Asymmetric Text-Visual Pruning for Large Vision-Language Models

针对多模态大模型提出非对称剪枝策略,视觉研究者可借鉴其按模态分别校准重要性的思路,用于压缩视觉-语言模型或设计模态感知的稀疏化方法。

网络剪枝多模态大模型权重重要性度量
33
视觉语言模型 / CVPR2026

超越简单相加:面向恶劣全景场景的全景-语言模型

More than the Sum: Panorama-Language Models for Adverse Omni-Scenes

提出即插即用的全景稀疏注意力模块,让已有的针孔式 VLM 无需重训练即可处理等距柱状全景图,为 360° 视觉语言推理提供了可复用的适配手段;PanoVQA 数据集则提供了遮挡与事故等恶劣全景场景下的评测基准。

全景视觉问答稀疏注意力等距柱状投影
34
视觉语言模型 / CVPR2026

MoE-GRPO:在视觉语言模型中通过强化学习优化混合专家

MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models

把 MoE 视觉语言模型的专家路由从确定性 top-K 改成用 GRPO 学习的随机策略,并加入模态感知的路由引导;做多模态大模型推理或训练的人可以直接复用这套路由优化思路来缓解专家过拟合、提升专家利用率。

混合专家强化学习路由策略
35
视觉语言模型 / CVPR2026

MoD-DPO:利用模态解耦偏好优化缓解全模态大模型中的跨模态幻觉

MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization

给做多模态大模型(尤其是视听/视觉-语言模型)的研究者提供了一种可复用的偏好优化正则化思路:通过对无关模态加扰动、对相关模态加敏感度约束,显式解耦模态间虚假关联,可直接迁移到视觉-语言模型的视觉定位与幻觉抑制训练中。

直接偏好优化跨模态对齐多模态大模型
36
视觉语言模型 / CVPR2026

MiniCPM-V 4.5:通过架构、数据与训练配方打造高效多模态大模型

MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe

3D-Resampler 对图像与视频做高度紧凑的视觉编码,配合混合强化学习在短/长推理模式间切换,为视觉侧提供了一条在 8B 规模下同时压低显存与推理耗时的可复用路线;其视频 token 压缩策略对做视频 MLLM 的效率优化尤其有参考价值。

多模态大模型视觉-token-压缩混合强化学习
37
视觉语言模型 / CVPR2026

MeteorPred:面向极端天气事件预测的气象多模态大模型与数据集

MeteorPred: A Meteorological Multimodal Large Model and Dataset for Severe Weather Event Prediction

把 4D 气象场(时间×气压层×空间)当作视觉式高维输入,用三个即插即用的自适应融合模块分别沿时序、垂直层、空间维度做动态特征提取与整合,这套「多维张量输入 + 分维融合」的接口设计可直接迁移到视频、多帧深度、气象/遥感等时空视觉任务的多模态大模型改造中。

多模态大模型气象时序预测自适应特征融合
38
图像编辑与可控生成 / CVPR2026

Meta-CoT:提升图像编辑的粒度与泛化能力

Meta-CoT: Enhancing Granularity and Generalization in Image Editing

Meta-CoT 将任意图像编辑操作分解为(任务、目标、所需理解能力)三元组,并进一步拆解为五个元任务,配合思维链一致性奖励,使模型在少量元任务训练后即可泛化到未见编辑任务;该分解思路可直接用于构建更细粒度的编辑指令数据与训练策略。

思维链元学习指令编辑
39
视觉语言模型 / CVPR2026

MSJoE:联合演化多模态大模型与采样器以实现高效长视频理解

MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding

把关键帧选择建模为可微/可强化学习的采样权重预测,并用 MLLM 推理出的查询与冻结 CLIP 的相似度矩阵作为采样依据,为长视频 VLM 提供了一套可联合训练、可复用的帧选择范式。

关键帧采样强化学习视频问答
40
视觉语言模型 / CVPR2026

用于大基础模型幻觉检测的李雅普诺夫探针

Lyapunov Probes for Hallucination Detection in Large Foundation Models

把 MLLM 的表征空间当作动力系统,用带导数稳定性约束的轻量探针在输入扰动下检测置信度是否单调衰减,从而区分事实稳定区与幻觉易发边界;这套扰动+稳定性探针可直接接到任意视觉语言模型的隐层特征上做幻觉判别。

幻觉检测李雅普诺夫稳定性扰动分析
41
生成模型与扩散 / CVPR2026

LottieGPT:面向自回归生成的矢量动画词元化

LottieGPT: Tokenizing Vector Animation for Autoregressive Generation

将矢量动画(Lottie JSON)通过定制分词器编码为紧凑词元序列,并微调 Qwen-VL 实现自回归生成,为视觉生成提供了一种超越栅格空间、直接输出可编辑结构化数据的新范式。

自回归生成矢量动画多模态大模型
42
视觉语言模型 / CVPR2026

隐式视觉推理

Latent Implicit Visual Reasoning

提出一种任务无关的隐式视觉推理 token 机制:让 LMM 在无显式中间监督下自行发现并重编码图像,可迁移到任何需要视觉中间步骤的多模态推理任务,替代依赖深度图、裁剪图等人工先验的做法。

视觉推理隐式推理-token多模态大模型
43
视觉语言模型 / CVPR2026

面向大型视觉语言模型的语言引导频率调制

Language-guided Frequency Modulation for Large Vision-Language Models

在视觉 token 送入 LLM 之前,用语言引导在频域上对视觉特征做高通/低通分解与选择性增强,为视觉侧提供了一种无需额外训练参数、可插拔的细粒度表征调控手段,可直接迁移到任意 LVLM 的视觉编码器-投影器链路上。

频域调制视觉表征对齐即插即用模块
44
视觉语言模型 / CVPR2026

LLaDA-V:带视觉指令微调的大语言扩散模型

LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning

把自回归解码换成掩码扩散式解码,并利用双向注意力建模视觉特征的空间关系,为视觉-语言模型提供了一条非自回归的架构路线,可直接复用其视觉编码器+MLP连接器+扩散语言模型的组合范式。

掩码扩散模型视觉指令微调多模态大模型
45
视觉语言模型 / CVPR2026

IF-Bench:面向红外图像的多模态大模型基准评测与生成式视觉提示增强

IF-Bench: Benchmarking and Enhancing MLLMs for Infrared Images with Generative Visual Prompting

提出免训练的生成式视觉提示方法,利用图像编辑模型将红外图像转换为语义和空间对齐的RGB图像,以缓解域分布偏移,可复用于其他跨域视觉-语言任务。

多模态大模型视觉提示红外图像理解
46
医学影像与生物视觉 / CVPR2026

IBISAgent:强化多模态大模型中的像素级视觉推理,实现通用生物医学目标指代与分割

IBISAgent: Reinforcing Pixel-Level Visual Reasoning in MLLMs for Universal Biomedical Object Referring and Segmentation

把分割重构为多轮「文本点击动作 + 调用分割工具」的智能体决策过程,无需改动 MLLM 架构、也无需联合微调解码器,这种「MLLM 输出点击坐标驱动外部分割器」的范式可直接迁移到通用指代分割与交互式分割,并天然支持掩码迭代精修。

多模态大模型智能体强化学习推理分割
47
鲁棒性与安全 / CVPR2026

IAG:面向基于 VLM 的视觉定位的输入感知后门攻击

IAG: Input-aware Backdoor Attack on VLM-based Visual Grounding

对做视觉定位或多模态大模型落地的人,这篇给出了一个可复用的攻击面:用文本条件 UNet 把目标语义隐写进图像,使任意指定目标都能被诱导定位,可作为评估 grounding 系统可信度的红队基线。

后门攻击视觉定位多模态大模型
48
视觉语言模型 / CVPR2026

HiFICL:面向多模态任务的高保真上下文学习

HiFICL: High-Fidelity In-Context Learning for Multimodal Tasks

把 ICL 中示例的影响精确分解为注意力输出与上下文值的动态混合,并用可学习的虚拟键值对加低秩分解来替代「shift vector」近似,这给视觉-语言模型提供了一种免示例、低开销的任务适配手段,可直接嵌入 LMM 的注意力层做端到端训练。

上下文学习参数高效微调低秩分解
49
高效模型与推理加速 / CVPR2026

Hi-Lo Prune:在剪枝之前先看清将失去什么的分层词元选择方法

Hi-Lo Prune: Look at What You'll Lose before Pruning with Hierarchical Token Selection

对做多模态大模型视觉侧推理加速的人,这篇给出了一个可直接复用的三段式流程:先用由粗到细的分层选择挑出冗余词元与待剪候选,再在 LLM 前几层用注意力把候选词元的信息显式迁移到保留词元上,最后在指定层一次性移除,从而支持激进的高比例早期剪枝而无需微调。

视觉词元剪枝免训练加速注意力引导信息融合
50
高效模型与推理加速 / CVPR2026

HAWK:多模态模型中头重要性感知的视觉词元剪枝

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

对做多模态视觉理解的人,这篇给出了一个免训练、即插即用的视觉词元剪枝方案:用注意力头重要性权重加权文本引导的注意力来打分并保留任务相关词元,可直接套到任意 MLLM 的视觉编码器到 LLM 的投影环节上,在剪掉 80% 视觉词元时仍保住 96% 精度。

视觉词元剪枝注意力头重要性免训练加速
51
鲁棒性与安全 / CVPR2026

GuardTrace-VL:通过迭代安全监督检测不安全的多模态推理

GuardTrace-VL: Detecting Unsafe Multimodel Reasoning via Iterative Safety Supervision

把多模态大模型的中间推理链(Thinking)纳入安全审核范围,用图文联合分析在推理阶段就拦截不安全内容;对做 VLM 安全对齐或红队评测的人,可直接复用其 QTA 全流程审计设定与三阶段渐进训练方案。

多模态推理安全安全审计思维链监督
52
视觉语言模型 / CVPR2026

从直觉到探究:面向可泛化人脸反欺骗的工具增强推理多模态大模型框架

From Intuition to Investigation: A Tool-Augmented Reasoning MLLM Framework for Generalizable Face Anti-Spoofing

把外部视觉工具(如放大、局部裁剪等细粒度分析算子)接入 MLLM 的推理链,并用 GRPO 类强化学习让模型自主决定何时调用工具,这一「工具增强思维链」范式可直接迁移到需要细粒度视觉证据的检测/鉴伪任务。

多模态大模型思维链工具调用
53
视觉语言模型 / CVPR2026

FlexiVideo:面向高效视频理解的变异感知时序动态建模

FlexiVideo: Variation-Aware Temporal Dynamics Modeling for Efficient Video Understanding

面向视频 MLLM 的视觉 token 冗余问题,提出按帧间差异自适应分段并动态调整时序编码窗口,可直接复用到任何视频 LLM 的视觉编码前端以降低 token 数;其「高动态帧对导致视觉混淆」的发现也提示做视频 token 合并/采样时需按运动强度而非固定间隔处理。

视频理解视觉-token-压缩自适应时序分段
54
医学影像与生物视觉 / CVPR2026

F$^2$-Assist:基于超声检查的多阶段胎儿生长预测与报告生成

F$^2$-Assist: Multi-Phase Fetal Growth Forecast and Report Generation from Ultrasound Examination

把连续生物测量值编码为可微 token 的 Growth Parameter Adapter,以及处理不规则采样间隔的 History-Aware Temporal Encoding,可迁移到任何需要数值精确推理的医学视觉语言模型与纵向影像随访任务。

多模态大模型纵向时序建模医学报告生成
55
图像编辑与可控生成 / CVPR2026

EpiAgent:面向古代碑刻复原的智能体中心系统

EpiAgent: An Agent-Centric System for Ancient Inscription Restoration

把图像复原从单次前向的固定流水线改造成由 LLM 规划器调度的多工具智能体循环(观察-构思-执行-再评估),对做低层视觉的人提供了一个可复用的思路:用多模态分析结果驱动工具选择与迭代精炼,从而应对训练分布外的异质退化。

多模态大模型智能体规划迭代自精炼
56
视觉语言模型 / CVPR2026

Ego:视觉语言模型的嵌入引导个性化

Ego: Embedding-Guided Personalization of Vision-Language Models

利用 VLM 内部注意力提取代表目标概念的视觉 token 作为概念记忆,无需额外训练即可在测试图像中召回并描述个性化概念,为视觉语言模型的免训练个性化与概念绑定提供可复用思路。

个性化生成注意力机制视觉token
57
鲁棒性与安全 / CVPR2026

所有权回声:面向MLLM版权保护的对抗引导双注入方法

Echoes of Ownership: Adversarial-Guided Dual Injection for Copyright Protection in MLLMs

提出一种通过对抗优化生成触发图像的方法,可复用于多模态模型的版权验证与模型溯源,其双注入策略(文本一致性损失回传与CLIP特征对齐)为视觉触发设计提供了可借鉴的对抗样本生成思路。

对抗攻击版权保护多模态大模型
58
视觉语言模型 / CVPR2026

EMO-R3:面向多模态大模型情感推理的反思式强化学习

EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models

把可验证的反思式奖励(视觉-文本一致性 + 情感连贯性)接进 GRPO 类强化学习流程,为视觉-语言模型在主观、难以标注的任务上提供了一条可复用的训练范式;结构化思维链模板也可迁移到其他需要可解释推理的视觉理解任务。

强化学习微调情感推理思维链
59
视觉语言模型 / CVPR2026

智能降尺度:探究小型多模态模型中的感知与推理瓶颈

Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small Multimodal Models

论文把多模态小模型的性能下降拆解为感知瓶颈与推理瓶颈,并提出 visual extraction tuning:先显式训练模型抽取与指令相关的视觉细节,再做分步推理。做 VLM 压缩、蒸馏或小模型部署的研究者可直接复用这一「先抽取视觉细节、再推理」的两阶段范式,并借用其感知/推理解耦的评测思路定位自身模型的失效环节。

多模态大模型模型缩放分析视觉细节提取
60
视觉语言模型 / CVPR2026

VLM 是感知还是回忆?用经典视觉错觉探测视觉感知与记忆

Do VLMs Perceive or Recall? Probing Visual Perception vs. Memory with Classic Visual Illusions

提出 VI-Probe 框架,通过分级扰动和匹配视觉控制(无错觉诱导)来分离视觉感知与语言记忆,并引入极性翻转一致性、模板固定指数和错觉乘数等指标,为评估 VLM 的视觉感知敏感性提供了可复用的探测方法。

视觉错觉探测式评估视觉感知与记忆
61
视觉语言模型 / CVPR2026

先分流,再定位:面向长视频理解的按查询类型自适应帧选择

Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

提出按查询类型(全局/局部)分流的免训练帧选择策略:全局查询用均匀采样、局部查询才启用查询感知检索,可直接嵌入现有 LMM 长视频推理管线,在 256 帧输入下仍稳定提升,为长视频 token 预算分配提供可复用思路。

长视频理解帧选择免训练方法
62
视觉语言模型 / CVPR2026

CodePercept:面向多模态大模型的代码接地视觉STEM感知

CodePercept: Code-Grounded Visual STEM Perception for MLLMs

将可执行代码作为视觉感知的监督信号,通过图像到代码的生成任务迫使模型进行精确的视觉理解,为评估和增强多模态大模型的细粒度感知能力提供了新范式。

多模态大模型代码生成视觉感知评估
63
视觉语言模型 / CVPR2026

CodeDance:一种用于可执行视觉推理的动态工具集成多模态大语言模型

CodeDance: A Dynamic Tool-integrated MLLM for Executable Visual Reasoning

将可执行代码作为视觉推理的通用求解器,通过动态组合工具(如检测、绘图)并渲染中间视觉产物,实现透明、可自检的推理过程;其强化学习训练中涌现的工具组合与跨任务迁移能力,为视觉语言模型的可解释推理与工具增强提供了新范式。

多模态大模型工具调用强化学习
64
视觉语言模型 / CVPR2026

Blink:面向增强多模态理解的动态视觉词元分辨率

Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding

提出基于注意力图的逐层显著性估计与 TokenSR 超分扩展机制,可在单次前向中动态为显著视觉词元分配更多计算,是一种可插拔的视觉词元分辨率调度思路,可迁移到其他 MLLM 的视觉编码与推理加速场景。

动态计算分配注意力图视觉词元压缩
65
视觉语言模型 / CVPR2026

超越感知捷径:面向轻量级多模态大模型可泛化视频推理的因果启发去偏优化

Beyond Perceptual Shortcuts: Causal-Inspired Debiasing Optimization for Generalizable Video Reasoning in Lightweight MLLMs

对做轻量级视频 MLLM 的研究者,这篇给出了一个可复用的去偏训练范式:先训练一个专门拟合数据偏置的「偏置模型」,再用带排斥项的 CDPO 目标把主模型推离捷径逻辑,可在不做 SFT、仅用 1% 数据做 RL 的条件下提升视频推理泛化性。

强化学习微调因果去偏视频推理
66
视觉语言模型 / CVPR2026

更好、更强、更快:以同步文本全掩码预测破解基于多模态大模型的分割三难困境

Better, Stronger, Faster: Tackling the Trilemma in MLLM-based Segmentation with Simultaneous Textual Mask Prediction

把分割掩码当作图像 patch 上的并行填空任务,在 MLLM 单次前向中一次性输出整张掩码,从而在不破坏对话能力的前提下兼顾分割质量与推理速度;做指代分割或多任务 VLM 的工作可直接复用这一解耦式输出头设计。

多模态大模型掩码预测非自回归生成
67
高效模型与推理加速 / CVPR2026

先注视再注意力:通过自回归注视实现高效可扩展的视频理解

Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing

把「先看再算」做成可插拔的轻量模块:用自回归+强化学习在 ViT/MLLM 之前挑出最小多尺度 patch 集合,并以重建误差阈值控制保真度,可直接用于长视频、高分辨率输入下的 token 削减与推理加速。

视觉-token-压缩自回归-patch-选择强化学习
68
视频理解与时序 / CVPR2026

异步时序建模与双智能体框架用于流式密集视频描述

Asynchronous Temporal Modeling with Two-Agent Framework for Streaming Dense Video Captioning

提出双智能体异步框架,用轻量SMM检测事件边界、LMM生成描述,避免阈值依赖,为流式视频理解提供可复用的事件触发与描述生成范式。

流式视频处理密集视频描述多模态大模型
69
视觉语言模型 / CVPR2026

对齐视觉语言模型所见与所感:自适应信息流

Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow

提出一种基于词元动态的视觉词元重要性度量,在解码阶段抑制文本词元对无关视觉词元的注意力,可作为即插即用的推理时干预手段,用于提升 VLM 的视觉定位与抗幻觉能力。

注意力调制视觉定位词元重要性
70
视觉语言模型 / CVPR2026

4D-RGPT:通过感知蒸馏迈向区域级 4D 理解

4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation

把冻结的 4D 专家模型的表征通过感知蒸馏迁移进多模态大模型,为视频 MLLM 注入深度感知与时序动态理解能力;区域级提示的 4D VQA 设定也可直接复用于动态场景的细粒度推理评测。

4D-感知视频问答感知蒸馏
71
视觉语言模型 / CVPR2026

φ-DPO:面向大型多模态模型持续学习的公平直接偏好优化方法

$\phi$-DPO: Fairness Direct Preference Optimization Approach to Continual Learning in Large Multimodal Models

提出基于直接偏好优化(DPO)的持续学习范式,并设计 φ-DPO 损失显式处理数据不平衡,可复用于多模态大模型在视觉任务上的持续学习与公平性提升。

持续学习直接偏好优化灾难性遗忘