Topic · 660 篇
视觉语言模型
视觉与语言联合建模。语言必须是任务的一部分,不是可有可无的注释。
这个方向的收录判据
视觉与语言(文本)的联合建模,语言必须是任务的一部分。包括 VLM/LVLM、 图文检索、视觉问答 VQA、captioning、视觉定位 grounding、多模态大模型微调与对齐、 OCR 理解、视频问答。视觉与其他传感器的融合(红外、深度、LiDAR、雷达、音频) 不属于这个类,归到对应的任务方向——视频融合归「视频理解与时序」, 3D 融合归「3D 视觉与重建」,图像融合归「底层视觉与图像复原」。
本方向全部 660 篇
iSHIFT:带自适应感知的轻量级慢快 GUI 智能体
iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception
把「慢/快」双模式推理与感知 token 结合,让 2.5B 的 MLLM 按任务难度自适应决定推理深度与注视区域;做视觉定位或高分辨率界面理解时,可借鉴其用特殊 token 引导注意力到局部区域、以隐式思维链替代显式长链推理来省算力的做法。
fMRI-LM:迈向面向语言对齐 fMRI 理解的通用基础模型
fMRI-LM: Towards a Universal Foundation Model for Language-Aligned fMRI Understanding
把连续神经信号离散化为语言对齐 token 的分词器思路,可迁移到视频/时序视觉信号与语言模型的对齐;三阶段(分词器→联合预训练→多任务指令微调)流程为视觉-语言基础模型提供了可复用的训练范式。
b-CLIP:面向多粒度视觉-语言对齐的文本条件对比学习
b-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment
用交叉注意力把图像 patch 按不同文本粒度(整句、句子、短语)动态池化成上下文视觉嵌入,并给出可调的多粒度对比损失,可直接用于需要密集图文对应的检索、grounding 与区域-短语匹配任务。
ZoomEarth:面向超高分辨率地理空间视觉语言任务的主动感知
ZoomEarth: Active Perception for Ultra-High-Resolution Geospatial Vision-Language Tasks
把「主动感知」引入超高分辨率视觉语言模型:模型通过自适应裁剪-缩放反复回看信息密集区域,并用区域引导奖励配合 GRPO 训练,可直接迁移到任意需要细粒度小目标的高分辨率 VLM 任务(遥感、病理、文档、卫星图)。
ZINA:多模态细粒度幻觉检测与编辑
ZINA: Multimodal Fine-grained Hallucination Detection and Editing
为视觉语言模型输出提供细粒度幻觉片段定位与错误类型分类(六类),并给出修正建议,可直接用于VLM生成结果的自动核查与后处理编辑;其基于图结构建模错误类型依赖的合成数据生成方式,也可迁移到其他需要细粒度标注稀缺的多模态任务。
WorldMM:面向长视频推理的动态多模态记忆智能体
WorldMM: Dynamic Multimodal Memory Agent for Long Video Reasoning
把长视频理解从纯文本摘要记忆扩展到文本+视觉的多源记忆库,并用自适应检索代理按查询迭代选择记忆源与时间粒度;对做长视频 VQA、视频检索或记忆增强 VLM 的工作,这套「多粒度情景记忆+语义记忆+视觉记忆」的组织与检索策略可直接复用。
一帧世界:将文化混合理解为视觉语言模型的新挑战
World in a Frame: Understanding Culture Mixing as a New Challenge for Vision-Language Models
为 LVLM 研究提供了一个可复用的文化混合 VQA 基准与四种子任务设定,并验证了用扩散生成的多文化混合数据做监督微调可显著降低模型对背景的依赖、提升跨上下文预测一致性,可作为评估和缓解 LVLM 背景偏置的参考范式。
多模态模型会被多图视觉谜题难住吗?
Will Multimodal Models Be Dazzled by Multi-Image Visual Puzzles?
对做多图/多帧视觉语言推理的人,MIRACLE 提供了强制跨图依赖的评测协议与实例分组设计,可直接用来诊断 MLLM 在高视觉信息密度(谜题、超多图输入)下的结构性关系推理短板,并作为多图训练数据的构造参考。
WikiCLIP:面向开放域视觉实体识别的高效对比基线
WikiCLIP: An Efficient Contrastive Baseline for Open-domain Visual Entity Recognition
提出用大语言模型嵌入作为实体表示,并通过视觉引导的知识适配器在图像块级别对齐文本语义与视觉线索,为视觉-语言检索提供了一种高效且可复用的对齐范式。
Widget2Code:通过多模态大语言模型从视觉控件到 UI 代码
Widget2Code: From Visual Widgets to UI Code via Multimodal LLMs
把「从图像生成结构化代码」当作多模态大模型的细粒度视觉理解任务:用图标检索与 UI 组合模块把原子组件拼成完整布局,可作为视觉到结构化序列生成(而非自由文本)的可复用范式,并提供图像级 UI 重建的细粒度评测协议。
为什么RL比SFT泛化更好?基于数据视角的VLM后训练分析
Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training
提出基于样本难度的数据筛选策略(DC-SFT),可替代RL微调以更低成本提升VLM的OOD泛化,为视觉语言模型后训练提供数据侧改进思路。
遗忘哪些概念与如何拒绝?面向大型视觉语言模型持续遗忘的概念分解
Which Concepts to Forget and How to Refuse? Decomposing Concepts for Continual Unlearning in Large Vision-Language Models
把「遗忘」从整模型级细化到视觉-语言概念组合级,并用概念驱动的 MoE 路由复用拒绝专家,为 LVLM 安全对齐与顺序删除请求提供可复用框架;做多模态安全/隐私的读者可直接借用其概念调制器与 refuser 路由设计。
视觉在哪里与语言相遇?通过对比注意力理解并改进 MLLM 中的视觉融合
Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention
提供了一种免训练的对比注意力机制,通过建模早期融合层与最终层之间的注意力变换来突出有意义的注意力转移,可直接插入任意 MLLM 的推理过程以提升多模态推理,无需微调;其逐层掩码分析范式也可用于诊断其他视觉-语言模型的融合位置。
何时思考、何时观察:不确定性引导的回看
When to Think and When to Look: Uncertainty-Guided Lookback
对做 LVLM 视觉推理的人,这篇给出了一个可直接套用的无训练解码策略:用不确定性信号触发显式回看图像的短提示,并配合宽度搜索,在固定模型和词元预算下提升 MMMU 等基准,尤其补强标准 thinking 较弱的类别。
当可视化成为推理的第一步:MIRA,一个面向视觉思维链的基准
When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought
该基准把「生成中间视觉草图/路径图」作为推理的必要环节,为视觉研究者提供了检验 MLLM 是否真正利用视觉中间表征的评测协议(三级输入:直接输入、Text-CoT、Visual-CoT),可用于设计需要视觉想象的推理模型与训练数据。
当词元剪枝不如随机剪枝:理解视觉语言模型中的视觉词元信息
When Token Pruning is Worse than Random: Understanding Visual Token Information in VLLMs
为视觉语言模型中的视觉词元剪枝提供了理论依据:深层视觉词元信息消失,随机剪枝即可,且可增强现有方法(如DivPrune),在OCR等视觉密集任务中需保留更深层词元。
机器人何时该说「我不知道」:具身问答中弃权行为的基准评测
When Robots Should Say ''I Don't Know'': Benchmarking Abstention in Embodied Question Answering
为视觉语言模型在具身场景中引入「拒答」能力提供了可复用的评测基准与五类弃权分类法,做 VLM 可靠性或交互式问答时可据此设计拒答召回指标与歧义问题构造流程。
视觉词元究竟编码了什么?揭示多模态大语言模型中的稀疏性与冗余性
What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models
该论文揭示了多模态大语言模型中视觉词元的语义稀疏性(仅约60%的alive词元携带图像信息),并证明中层注入比初始嵌入更有效,为视觉编码器与LLM的高效对接提供了可复用的分析工具(EmbedLens)和设计原则(选择性词元剪枝、最小化视觉计算)。
WeaveTime:从早期帧流式编织出 VideoLLM 中的涌现记忆
WeaveTime: Streaming from Earlier Frames into Emergent Memory in VideoLLMs
对做流式视频理解的人,这篇给出了一个模型无关的插件式方案:用轻量时序重建目标注入顺序感知表征,再配合不确定性触发、由粗到细的 Past-Current 动态焦点缓存,在严格在线、时间因果约束下兼顾精度与延迟,可直接挂到现有 Video-LLM 上。
WeMMU:通过噪声查询令牌增强视觉语言模型与扩散模型的桥接
WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens
用带噪声的可学习查询令牌作为 VLM 与扩散模型之间的分布式接口,并配一条 VAE 线性投影支路补回细节,可直接用于构建视觉生成式多模态助手,缓解固定查询令牌在跨任务时的泛化崩溃。
WalkGPT:面向行人导航的深度感知分割接地视觉语言对话
WalkGPT: Grounded Vision-Language Conversation with Depth-Aware Segmentation for Pedestrian Navigation
把分割掩码与相对深度作为 LVLM 的输出 token 级接地信号,并用多尺度查询投影器在空间层级上聚合图像 token,可复用于任何需要像素级接地与深度推理的视觉语言任务,无需用户提供点或锚框提示。
WISER:面向免训练零样本组合图像检索的更广搜索、更深思考与自适应融合
WISER: Wider Search, Deeper Thinking, and Adaptive Fusion for Training-Free Zero-Shot Composed Image Retrieval
提出免训练的多模态检索框架,通过并行生成编辑文本和编辑图像扩大候选池,并用验证器评估置信度触发自反思精炼,可复用于其他需要融合多模态查询的检索任务。
词汇缩放定律:调整开放词表预测器以提升其开放性
Vocabulary Scaling Law: Tuning Open-vocabulary Predictors for Their Openness
提出词汇缩放定律,指导开放词表预测器的微调应覆盖整个词汇表、调整类名嵌入并强制提示词嵌入正交;SVFT 通过子模最大化选择信息量大的类名子集进行高效微调,可直接用于提升 CLIP 在开放世界中的稳定性和可扩展性。
面向物体问题的视觉定位
Visual Grounding for Object Questions
把视觉定位从「找可见目标」扩展到「为开放式物体问题找视觉证据」,并给出可自动生成训练/评测数据的流程;做指代分割或 VQA 的研究者可借此设定检验模型在非直接可见概念上的定位能力,也可复用其轻量定位模型与合成基准。
视觉文档理解与推理:一种带智能体级自适应测试时扩展的多智能体协作框架
Visual Document Understanding and Reasoning: A Multi-Agent Collaboration Framework with Agent-Wise Adaptive Test-Time Scaling
把视觉文档理解拆成规划、执行、判断、回答四个智能体并做智能体级自适应测试时扩展,为 VLM 在复杂多步推理场景下提供了一种可复用的「程序化扩展」替代单体模型堆参数的思路。
VisionLeaf:面向高效准确 think-with-image 的熵引导叶优先推理
VisionLeaf: Entropy-Guided Leaf-First Reasoning for Efficient and Accurate Think-with-Image
把 GRPO 的树式 rollout 从根节点扩展改为从叶节点按熵选择扩展,可直接迁移到任何多轮视觉推理 VLM 的强化学习训练中,在不改模型与数据的前提下同时降低推理轮数并提升准确率。
视觉-语音模型:教语音模型谈论图像
Vision-Speech Models: Teaching Speech Models to Converse about Images
为预训练语音模型通过轻量适配模块注入视觉理解能力,并设计动态门控机制在视觉输入与无关对话间切换,为构建实时多模态语音对话系统提供可复用方案。
VisRef:思考时视觉重聚焦提升多模态大推理模型的测试时扩展
VisRef: Visual Refocusing while Thinking Improves Test-Time Scaling in Multi-Modal Large Reasoning Models
提出一种无需额外强化学习微调的测试时扩展框架,通过选择与推理上下文语义相关且全局多样的视觉令牌核心集并重新注入,缓解多模态大模型在长文本推理中对视觉信息的注意力衰减,可复用于视觉问答、视觉推理等任务。
VisPlay:自演化视觉语言模型
VisPlay: Self-Evolving Vision-Language Models
把无标注图像变成自生成视觉问答的监督信号,用 GRPO 的多样性与难度奖励联合训练提问器和推理器,可作为 VLM 视觉推理与幻觉抑制的可复用自训练流程。
VisMem:潜变量视觉记忆释放视觉语言模型的潜力
VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models
为 VLM 在长程生成中维持视觉证据提供了一种潜空间记忆机制:短期记忆模块保留细粒度感知特征、长期记忆模块固化语义,可在推理阶段即插即用地缓解视觉定位漂移,对多模态推理与视觉生成类工作都可直接复用。
VinQA:面向真实世界多模态文档问答的视觉元素交错长答案生成
VinQA: Visual Elements Interleaved Long-form Answer Generation for Real-World Multimodal Document QA
提出将文档页面中的视觉元素(表格、图表、照片等)与文本交错生成长篇答案的任务,并系统比较了整页编码与模态编码两种视觉元素输入方式,为多模态文档理解与生成提供了可复用的数据构建、编码方案和评测框架(M-GroSE、Visual Source F1)。
VideoSeek:具备工具引导搜索能力的长时程视频智能体
VideoSeek: Long-Horizon Video Agent with Tool-Guided Seeking
把「视频逻辑流」当作主动搜索线索,用 think-act-observe 循环加多粒度工具按需取帧,替代对密集采样帧的穷举解析;做长视频 VQA 或视频推理时可直接复用这套按需取帧的智能体框架,在帧数大幅下降的同时保持甚至提升精度。
VideoSSR:视频自监督强化学习
VideoSSR: Video Self-Supervised Reinforcement Learning
提出三种视频自监督前置任务(异常定位、物体计数、时序拼图)来自动生成可验证的训练数据,为视频多模态大模型提供无需人工标注的强化学习训练信号,可直接用于提升视频时序定位与复杂推理能力。
VideoITG:基于指令时序定位的多模态视频理解
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
把「选哪些帧」变成由用户指令驱动的判别式选择问题,并用 VidThinker 自动生成指令条件下的时序定位标注;做视频 LLM 或长视频理解时,可直接复用这套帧采样监督信号与即插即用的选帧模块。
VideoChat-M1:通过多智能体强化学习实现面向视频理解的协作策略规划
VideoChat-M1: Collaborative Policy Planning for Video Understanding via Multi-Agent Reinforcement Learning
把视频理解建模为多个策略智能体各自生成、执行并相互通信更新工具调用策略的过程,并用最终答案奖励与中间协作反馈做联合强化学习优化;对做长视频/复杂时序推理的视觉研究者,这是一套可复用的「多智能体+工具调用+MARL」框架,可替代静态固定的工具链。
VideoAuto-R1:思考一次、回答两次的视频自动推理
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
提出「按需推理」机制:用初始答案的置信度决定是否触发思维链,可直接迁移到视频问答、视觉定位等 VLM 推理流程中,在几乎不掉点的前提下把平均输出长度压缩 3.3 倍,是降低多模态大模型推理延迟的可复用策略。
VideoARM:面向长视频理解的分层记忆智能体推理
VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding
提出一种无需穷举预处理的自适应智能体推理框架,通过控制器调用工具进行由粗到细的视频解析,并维护分层多模态记忆,为长视频理解中的高效多模态大模型推理提供了可复用的记忆构建与工具调度机制。
视频即答案:用联合 GRPO 预测并生成下一个视频事件
Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO
提出 Joint-GRPO 强化学习框架,将视觉语言模型与视频扩散模型联合优化,使 VLM 生成利于可视化的描述,VDM 生成与描述和视觉上下文一致的视频,为多模态推理与生成一体化提供可复用范式。
纯视频心智理论:增强多模态大语言模型中的心智理论能力
Video-Only ToM: Enhancing Theory of Mind in Multimodal Large Language Models
提出一种通过计算干预向量来对齐视觉表征与正确语义目标的方法,可引导模型注意力跨层关注视觉特征,减少对语言先验的依赖;该技术可复用于其他需要增强视觉 grounding 的多模态推理任务。
面向长视频理解的视频面板
Video Panels for Long Video Understanding
提出一种免训练、参数无关的视觉提示策略,通过将多帧拼接为面板图像来权衡空间细节与时序分辨率,可直接集成到现有视频语言模型中提升长视频理解性能。
ViRC:通过推理分块增强视觉交错数学思维链
ViRC: Enhancing Visual Interleaved Mathematical CoT with Reason Chunking
提出 Reason Chunking 机制,将多模态数学思维链结构化为关键推理单元(CRU),并在单元间动态调用视觉工具获取图像信息,为视觉语言模型在需要反复查看图像的推理任务中提供了可复用的分块推理与渐进训练范式。
ViLoMem:具备生长-精炼多模态语义记忆的智能体学习器
ViLoMem: Agentic Learner with Grow-and-Refine Multimodal Semantic Memory
ViLoMem 提出双流语义记忆,分别编码视觉分心模式与逻辑推理错误,使多模态大模型在解题时能复用可泛化的视觉注意力策略并避免重复视觉错误;该记忆机制可直接用于视觉问答、多模态推理等任务中的智能体持续学习与跨域迁移。
ViKey:通过视觉提示增强视频时序理解
ViKey: Enhancing Temporal Understanding in Videos via Visual Prompting
提出一种免训练的视觉提示方法,通过在帧上叠加序号信息增强VideoLLM的时序理解,可复用于任何稀疏采样视频理解流程,缓解帧选择带来的时序推理性能下降。
ViBES:具备行为智能 3D 虚拟身体的对话智能体
ViBES: A Conversational Agent with Behaviorally-Intelligent 3D Virtual Body
ViBES 将语音、文本和身体动作统一为交错的多模态词元流,并用按模态硬路由的混合专家 Transformer 联合建模,为视觉研究者提供了构建可控 3D 虚拟人对话系统的可复用架构与多轮对话-动作对齐评测思路。
Venus:面向美学指导与裁剪的多模态大语言模型基准构建与能力增强
Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping
把「美学指导」定义为一个可评测的 MLLM 能力,并用两阶段(渐进式美学问答 + CoT 理由)微调把该能力迁移到裁剪重构图任务上,可作为条件化生成/编辑中「可解释美学先验」的可复用范式。
Vector Prism:通过语义结构分层实现矢量图形动画
Vector Prism: Animating Vector Graphics by Stratifying Semantic Structure
把 SVG 中碎片化的低层图元通过多次弱预测的统计聚合恢复成语义部件组,为 VLM 提供结构化输入,这一「先恢复语义结构再交给 VLM 生成」的范式可迁移到其他需要 VLM 操作结构化图形/代码的视觉任务。
VULCAN:面向迭代式三维物体布局的工具增强多智能体
VULCAN: Tool-Augmented Multi Agents for Iterative 3D Object Arrangement
把 MLLM 的 3D 操作能力从脆弱的原始代码生成转为函数级 API 调用,并引入视觉工具构成感知反馈闭环,为视觉研究者提供了一条「用工具调用弥补 MLLM 3D 视觉定位短板」的可复用范式。
VQRAE:面向多模态理解、生成与重建的表征量化自编码器
VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction
提出用高维语义VQ码本(1536维)在统一分词器中同时输出连续语义特征和离散token,视觉研究者可借鉴其两阶段训练策略(先冻结编码器学码本,再自蒸馏联合优化)来构建兼顾理解与生成的视觉表征。
VQ-VA World:迈向高质量视觉问题视觉回答
VQ-VA World: Towards High-Quality Visual Question-Visual Answering
论文提出以图像而非文本回答视觉问题的 VQ-VA 任务,并给出基于智能体流水线的大规模交错图文数据构建方案与 IntelligentBench 基准,为视觉语言模型从判别式问答向生成式视觉回答扩展提供了可复用的数据与评测范式。
VOLD:通过在线策略蒸馏将推理能力从大语言模型迁移到视觉语言模型
VOLD: Reasoning Transfer from LLMs to Vision-Language Models via On-Policy Distillation
把纯文本 LLM 的推理能力通过 on-policy 蒸馏迁移到 VLM,视觉研究者可直接复用其「SFT 冷启动对齐 + GRPO 在线蒸馏」流程来缓解图文推理数据稀缺问题。
VLM-3R:以指令对齐三维重建增强的视觉语言模型
VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction
把单目视频帧经几何编码器转成隐式 3D 空间 token 与相机运动 view token,再与语言模型对齐,为视觉研究者提供了一条无需外部深度传感器或预建 3D 地图即可让 VLM 获得空间与时序推理能力的可复用路径。
VL-Eraser:面向视觉语言模型机器遗忘的真空蒸馏
VL-Eraser: Vacuum Distillation for Machine Unlearning in Vision-Language Models
VL-Eraser 将遗忘目标解耦到低秩适配器中,通过删除适配器参数实现遗忘,为视觉语言模型提供了一种可复用的事后知识移除手段,尤其适用于需要移除敏感内容同时保持跨模态对齐的场景。
VKG-QA:面向大型多模态模型的视觉知识图谱问答
VKG-QA: Visual Knowledge Graph-based Question Answer for Large Multimodal Models
把知识图谱渲染成图结构可视化图像,让 LMM 直接感知并推理高阶关系,为视觉推理研究提供了一个可复用的「图→图」表征范式与评测基准,可用于检验和提升模型对结构化视觉关系的理解能力。
VITAL:以视觉编码器为中心的视觉质量评估多模态大模型预训练
VITAL: Vision-Encoder-centered Pre-training for LMMs in Visual Quality Assessment
以视觉编码器为中心的生成式预训练流程,配合机器执行的标注-审查范式构建大规模视觉-语言对,为视觉质量评估等低层感知任务提供可零样本迁移的多模态大模型底座;其解码器仅需极少预热数据即可复现全量训练性能,为视觉-语言模型的高效扩展提供可复用方案。
VIRO:面向指代表达理解的带验证鲁棒高效神经符号推理
VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension
在神经符号 REC 的推理链中嵌入算子级轻量验证器,使每个算子(物体存在性、空间关系)执行后自检并可弃权,为视觉推理系统提供抑制级联误检、处理无目标情形的可复用机制。
VGent:通过模块化设计解耦推理与预测的视觉定位
VGent: Visual Grounding via Modular Design for Disentangling Reasoning and Prediction
将视觉定位解耦为冻结MLLM编码器与基于检测提议的解码器,避免自回归解码的延迟与幻觉,并支持编码器/解码器的模块化升级;其QuadThinker强化学习训练与掩码感知标签可直接用于提升多目标定位的推理与选择能力。
VGGDrive:为自动驾驶赋予视觉语言模型跨视角几何定位能力
VGGDrive: Empowering Vision-Language Models with Cross-View Geometric Grounding for Autonomous Driving
将冻结的3D基础模型的跨视角几何特征通过分层自适应注入机制融入VLM的2D视觉特征,为视觉语言模型提供可复用的3D几何感知增强方案。
VES-RFT:以视觉证据敏感性为奖励缓解大型视觉语言模型中的幻觉
VES-RFT: Rewarding Visual Evidence Sensitivity to Mitigate Hallucinations in Large Vision-Language Models
把「有图/无图两次前向的熵差」定义成可计算的视觉证据敏感度奖励,配合自动核验物体正确性的可验证奖励,用无 critic 的 GRPO 做训练时对齐;做 VLM 幻觉或视觉 grounding 的工作可以直接复用这套双奖励与并行双前向的训练范式,且推理仍是单次前向、无额外开销。
VCU-Bridge:通过语义桥接的层次化视觉内涵理解
VCU-Bridge: Hierarchical Visual Connotation Understanding via Semantic Bridging
提出层次化视觉内涵理解框架和HVCU-Bench基准,用于诊断MLLM从低层感知到高层推理的因果依赖;其MCTS引导的数据生成流程可复用于构建其他需要显式推理链的视觉语言指令微调数据。
VAST:面向数据高效视频推理的视频能力分层分类体系
VAST: Video Ability-Stratified Taxonomy for Data-Efficient Video Reasoning
对做视频 MLLM 推理的人,这篇给出了按「感知-推理-认知」能力分层组织训练数据、并用一致性奖励做 RL 微调的配方,可在不改架构的前提下大幅降低 RL 训练所需的样本量与 GPU 时数,VAST-Bench 也可直接作为能力分层评测集使用。
拆解嵌合体:视频幻觉的帧级风险与免训练缓解
Unstitching the Chimera: Frame-Level Risk and Train-Free Mitigation for Video Hallucination
提出帧级无参考风险指标 CH-Risk 和免训练两阶段干预 CH-M,可直接用于视频 MLLM 的幻觉检测与缓解,其注意力路由和词元校准思路可迁移到其他多模态生成任务。
通过免训练奖励归因解锁词元奖励
Unlocking Token Rewards via Training-Free Reward Attribution
对做多模态大模型推理(如 MathVista 上的视觉数学推理)的研究者,这篇给出了一个免训练、单次前向+反向即可从现有 PRM 中提取词元级奖励的方法,可直接替换 RL 微调中的结果奖励做更细粒度的信用分配,无需再训练奖励模型。
释放多模态大语言模型内在的视觉表征能力
Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models
把掩码图像建模搬到 MLLM 的联合潜语义空间里做视觉重建,为视觉表征提供直接监督信号,可复用于任何需要增强 VLM 密集视觉能力的训练流程。
面向超低保留率视频大语言模型的统一时空词元压缩
Unified Spatiotemporal Token Compression for Video-LLMs at Ultra-Low Retention
提出一种无需重训练、即插即用的视频大语言模型视觉词元压缩方法,通过全局时空分配和文本感知合并,在极低保留率下保持性能,可直接用于降低视频理解任务的推理成本。
统一个性化理解、生成与编辑
Unified Personalized Understanding, Generating and Editing
提出结构化解耦的概念令牌与显式知识回放机制,可在统一多模态模型中实现理解、生成与编辑的个性化,避免跨任务干扰;其跨任务评估协议也为个性化统一模型提供了可复用的评测思路。
统一多模态模型作为自编码器
Unified Multimodal Models as Auto-Encoders
将图像到文本理解与文本到图像生成统一为自编码器框架,并用重建奖励的强化学习联合优化编码器与解码器,为视觉语言模型提供了一种通过重建目标提升细粒度感知与生成保真度的后训练思路。
面向视觉语言模型的统一生成与自验证:基于优势解耦的偏好优化
Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization
把生成与自验证统一进单个 VLM 策略,用解耦优势与词元掩码隔离梯度,可在不额外训练验证模型的前提下实现并行测试时扩展,直接降低多模态推理的推理成本;其偏好验证奖励设计可迁移到任意需要自洽性打分的视觉语言任务。
UniVerse:以推理与知识赋能统一生成
UniVerse: Empower Unified Generation with Reasoning and Knowledge
把「隐式提示→推理链→显式提示」的三元组监督引入统一多模态模型的 T2I 训练,为视觉研究者提供了一条用中间推理链提升生成模型组合性与知识性的可复用数据构造与训练范式。
UniGame:将统一多模态模型变为自身的对手
UniGame: Turning a Unified Multimodal Model Into Its Own Adversary
提出在共享词元接口施加轻量扰动器的自对抗后训练框架,可复用于提升任意视觉-语言统一模型的理解-生成一致性与对抗鲁棒性。
UniCompress:面向统一视觉-语言理解与生成的词元压缩
UniCompress: Token Compression for Unified Vision-Language Understanding and Generation
对做统一视觉-语言模型的人,这套带可学习全局元词元的即插即用压缩/解压模块可以直接插到已有的离散词元自回归框架里,把图像词元砍到 1/4 而不必全量重训,是降低多模态推理延迟与显存的一条低成本路径。
UniChange:以多模态大语言模型统一变化检测
UniChange: Unifying Change Detection with Multimodal Large Language Model
用 MLLM 的语言先验与特殊 token([T1]/[T2]/[CHANGE])嵌入作为查询,把二值变化检测与语义变化检测统一进一个生成式框架,并用文本提示替代预定义分类头以兼容类别定义冲突的多源数据,为遥感变化检测提供可复用的统一建模范式。
理解幻觉在多模态推理模型强化学习后训练中的作用
Understanding the Role of Hallucination in Reinforcement Post-Training of Multimodal Reasoning Models
提出一种通过模态特定扰动(移除或替换关键视觉信息)来诱导幻觉的分析框架,可用于诊断多模态大模型在强化学习后训练中是否真正依赖视觉信息,为设计模态感知的RL训练策略提供可复用工具。
理解并缓解多模态思维链模型中的幻觉
Understanding and Mitigating Hallucinations in Multimodal Chain-of-Thought Models
针对多模态思维链模型在复杂视觉推理中的幻觉问题,提出定位发散思维步骤并在解码阶段干预的方法,可直接用于提升视觉推理链的可靠性,且能与其他幻觉缓解策略叠加。
通过跨模态注意力可区分性理解视频语言模型中的时序逻辑一致性
Understanding Temporal Logic Consistency in Video-Language Models through Cross-Modal Attention Discriminability
对做视频多模态理解的人,这篇给出了一个可复用的诊断与改进思路:用跨模态注意力头对不同时间戳视频 token 的区分度来定位时序推理失效,并通过注意力锐化目标直接提升时序分辨率,可作为分析 Video-LLM 时序能力的探针与训练正则。
理解视觉语言模型中的任务迁移
Understanding Task Transfer in Vision-Language Models
给做 VLM 感知微调的人一个可复用的诊断工具:用 PGF 归一化指标量化源任务微调对 13 个感知任务零样本性能的迁移广度与幅度,并据此做数据选择,避免负迁移。
理解大语言模型与视觉语言模型中的计数机制
Understanding Counting Mechanisms in Large Language and Vision-Language Models
对做 LVLM 的人:论文用因果中介分析定位到视觉嵌入中承载计数的区域(随空间构图在前景/背景间迁移),并指出视觉编码器属性会塑造计数行为——这为诊断和改造 LVLM 的视觉侧数值表征提供了可复用的探针工具 CountScope 与逐层分析范式。
双曲视觉语言模型中基于不确定性引导与部分到整体语义代表性的组合对齐
Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models
把双曲空间中的不确定性作为「部分对整体语义代表性」的度量,并用不确定性加权对比损失与熵正则的蕴含损失来校准,可直接迁移到需要建模层级/组合结构的图文对齐与检索任务。
面向多模态大语言模型的不确定性感知知识蒸馏
Uncertainty-Aware Knowledge Distillation for Multimodal Large Language Models
把教师监督视为学生激活上的 Gibbs 先验,可导出闭式的不确定性感知权重,可直接套用到任意蒸馏损失上;做 VLM 蒸馏或小模型压缩时,可用它按样本自适应调节教师信号强度,避免噪声样本与教师不确定样本的过度影响。
面向多模态大语言模型的不确定性感知探索式直接偏好优化
Uncertainty-Aware Exploratory Direct Preference Optimization for Multimodal Large Language Models
把词元级认知不确定性作为探索强度信号,替代模型自评的视觉敏感度来分配 DPO 训练权重,可直接迁移到任何需要细粒度视觉 grounding 监督的 MLLM 偏好对齐流程中。
Ultrasound-CLIP:面向超声图像-文本理解的语义感知对比预训练
Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding
对做医学视觉-语言预训练的人,这篇给出了一个可复用的思路:用领域诊断属性体系构造语义软标签和语义损失,替代 CLIP 的硬负样本对比,并额外引入由文本属性构建的异构图模态做结构化推理;US-365K 与 UDT 体系也可直接作为超声域 VLM 的评测与预训练资源。
UVU:通过视觉-语言统一自回归范式改进多模态理解
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
把像素级视觉重建作为预训练阶段的统一自回归监督信号,与文本 token 共享同一词表,为提升 MLLM 细粒度视觉感知提供了一条不依赖向量量化的连续视觉编码 + 码本构建思路,可直接迁移到其他多模态预训练配方中。
UFVideo:面向统一细粒度视频协同理解的大语言模型
UFVideo: Towards Unified Fine-Grained Video Cooperative Understanding with Large Language Models
把全局、像素、时序三种粒度的视频理解统一进单个 Video LLM,并用统一的视觉-语言引导对齐动态切换输出(文本、时序定位、grounded mask),为做视频问答、时序定位与指代分割的研究者提供了一个多任务协同的统一建模范式与配套基准。
UARE:统一视觉语言模型用于图像质量评估、复原与增强
UARE: A Unified Vision-Language Model for Image Quality Assessment, Restoration, and Enhancement
该工作提出用统一视觉语言模型联合建模图像质量评估与复原,并通过交错文本-图像数据微调对齐 IQA 信号与复原目标,为低层视觉任务提供了一种可复用的多任务协同训练范式。
U-Mind:面向实时多模态交互与视听生成的统一框架
U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation
论文提出以文本优先的思维链规划驱动语音、动作和视频的同步生成,并实现基于姿态与语音条件的实时视频渲染,为视觉研究者提供了将语言推理与视频生成闭环结合的可复用框架。
Twin-T 与 TwintVQA:一种可靠的结构-细节分离 VLM 及面向图表与表格任务的综合基准
Twin-T & TwintVQA: A Reliable Structure-Detail Separating VLM and a Comprehensive Benchmark for Chart and Table Tasks
双头图像编码器分离结构线索与细节的思路可迁移到其他需要同时理解布局和细粒度内容的视觉任务(如文档分析、场景文本理解);MINT 偏好学习方法强调数值与关键词保真度,为提升 VLM 在数值敏感任务上的可靠性提供了可复用的训练策略。
TriSim:基于极值理论的三维相似度建模用于遥感图文检索中的假阴性缓解
TriSim: Tri-Dimensional Similarity Modeling with Extreme Value Theory for False-Negative Mitigation in Remote Sensing Image-Text Retrieval
用三维负样本相似度空间(图-图、图-文、文-文)替代单一跨模态阈值来判定假阴性,并用极值理论对尾部样本建模、在三元组损失中赋概率权重;这套假阴性筛选与加权机制可直接迁移到其他图文/视频-文本对比学习检索任务中。
面向多模态情感分析的三子空间解耦
Tri-Subspaces Disentanglement for Multimodal Sentiment Analysis
把多模态特征显式拆成全局共享、模态对共享、模态私有三类子空间,并用解耦监督加结构化正则保持纯度,这套「按共享范围分层解耦」的思路可直接迁移到视觉-语言任务(如VQA、图文检索)的表征融合环节,替代笼统的共享/私有二分。
将信号翻译为语言以用于基于表面肌电信号的活动识别
Translating Signals to Languages for sEMG-Based Activity Recognition
把连续时序信号(sEMG)通过语言导向映射转成离散 token 序列,再交给冻结/微调的 LLM 做识别,这套「信号→语言 token→LLM 推理」的范式可直接迁移到视觉时序信号(骨架动作、眼动、IMU、事件相机流)的动作识别上。
仅训练期异构图像块-文本图监督用于提升少样本学习适配器
Training-Only Heterogeneous Image-Patch-Text Graph Supervision for Advancing Few-Shot Learning Adapters
把训练期的异构图教师(多尺度图像块+文本提示的图 Transformer)蒸馏进 Tip-Adapter 的键值缓存,测试时零额外延迟,为视觉研究者提供了一种「训练加料、推理不变」的少样本 CLIP 适配增强范式。
基于执行反馈强化学习训练高层调度器用于长程GUI自动化
Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation
提出了一种基于执行反馈强化学习训练高层调度器(Coordinator和State Tracker)的方法,可即插即用地增强任意低层执行器在长程GUI自动化任务中的规划与状态管理能力,为视觉语言模型在复杂交互任务中的多智能体协同提供了可复用的训练范式。
面向稀疏视频理解与推理
Towards Sparse Video Understanding and Reasoning
把「选哪些帧」变成多轮推理中的可学习决策:用对话历史作记忆、跨轮维护思维链、自纠错保证结构有效,可直接套到任意 VLM 的视频输入前端,替代均匀采样以在更少帧下提升 VQA 准确率。
面向推理保持的多模态大语言模型遗忘
Towards Reasoning-Preserving Unlearning in Multimodal Large Language Models
提出一种无需训练、在推理时通过子空间引导和自适应转向来遗忘答案与推理痕迹的方法,可复用于多模态大模型的安全对齐与隐私保护,同时保持通用推理能力。
面向真实世界文档解析:逼真场景合成与文档感知训练
Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training
对做文档/图表类视觉理解的人,这篇提供了可复用的思路:用布局模板+文档元素合成大规模全页端到端监督数据,配合渐进式学习与结构 token 优化来抑制 MLLM 的重复与幻觉输出;Wild-OmniDocBench 也可直接用于评测随手拍文档的鲁棒性。
面向 GUI 智能体:用于 GUI 视觉定位的视觉语言扩散模型
Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding
将离散扩散视觉语言模型(如 LLaDA-V)用于 GUI 视觉定位任务,提出线性与确定性混合的掩码调度以捕捉边界框的层次几何结构,为视觉定位提供了一种非自回归的并行生成范式。
以最少微调数据实现高效医学推理
Towards Efficient Medical Reasoning with Minimal Fine-Tuning Data
对做医学 VLM 适配的人,这篇给出了一个可直接复用的数据筛选准则:用样本梯度影响与难度的二维象限联合打分,只保留「高难度-高影响」样本,从而在 1% 数据下逼近全量微调效果,可迁移到任意 VLM 的领域 SFT 数据蒸馏流程。
面向视觉语言模型提示词微调的校准
Towards Calibrating Prompt Tuning of Vision- Language Models
为 CLIP 提示词微调提供了一套即插即用的校准正则项:均值-方差间隔惩罚稳定类间 logit 间隔,文本矩匹配损失约束微调后文本嵌入的一二阶矩贴近冻结 CLIP 嵌入,可直接加到现有 prompt tuning 训练目标上降低 ECE。
Token 化使多模态大语言模型能够理解、生成与编辑建筑平面图
Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans
把房间实例离散化为 token 并入语言模型词表,使 MLLM 能像生成文本一样自回归地生成与编辑结构化布局;这套「实例级离散 token + 多模态对齐」的做法可迁移到任何需要输出结构化几何(场景图、矢量图元、版面)的视觉生成任务。
词元变换帮助多模态大模型从邻近视角观察
Token Warping Helps MLLMs Look from Nearby Viewpoints
把视角变换从像素域搬到 ViT 词元域,用反向词元 warping 替代像素 warping,为 MLLM 提供对深度误差更鲁棒的视角外推手段;做多视角/具身推理的可以直接复用这一词元级几何对齐思路。
TimeViper:一种用于高效长视频理解的混合 Mamba-Transformer 视觉语言模型
TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding
TimeViper 的混合 Mamba-Transformer 骨干与 TransV 词元压缩模块,为视觉语言模型处理长视频提供了一种降低推理成本且保持多模态理解能力的可复用架构思路。
TimeLens:重新审视多模态大语言模型的视频时序定位
TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs
对做视频-语言理解的人,这篇给出了把 MLLM 训练成强时序定位器的完整配方:交错文本时间编码、免思维链的 RLVR 训练范式,以及一套可复用的高质量重标注流程与修正后的评测基准,可直接用于重训或重评自己的时序定位模型。
用视频思考:视频生成作为有前景的多模态推理范式
Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm
把视频生成模型(如 Sora-2)当作统一的多模态推理器,用视频帧作为推理媒介,为视觉研究者提供了一个可复用的思路:将生成式视频模型直接用于视觉问答、数学推理等任务,并可用自一致性与上下文学习提升其推理表现。
以编程视觉思考:迈向用图像思考的统一视角
Thinking with Programming Vision: Towards a Unified View for Thinking with Images
把「生成代码调用任意图像操作」作为统一工具接口,替代固定工具注册表,并用稠密过程奖励的强化学习训练多轮工具组合与运行时错误恢复;做视觉推理、工具增强 VLM 或多模态 agent 的工作可直接复用该框架与配套的朝向变化鲁棒性基准。
在不确定性中思考:利用潜变量熵感知解码缓解多模态大模型中的幻觉
Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding
提出一种基于熵感知的解码策略,通过概率加权连续嵌入和视觉锚框注入来缓解多模态大模型在视觉问答中的幻觉,可作为一种即插即用的推理时增强手段用于视觉语言模型。
在动态中思考:多模态大语言模型如何感知、跟踪与推理物理4D世界中的动态
Thinking in Dynamics: How Multimodal Large Language Models Perceive, Track, and Reason Dynamics in Physical 4D World
论文提出的 Dyn-Bench 基准和 ST-TCM 结构化融合方法,为视觉研究者提供了评估和提升 MLLMs 在动态 4D 场景中时空推理与动态目标定位能力的可复用工具与思路。
在 360 度中思考:野外场景下的人形视觉搜索
Thinking in 360deg: Humanoid Visual Search in the Wild
把 360° 全景图当作可主动转头的沉浸式环境,构建了 MLLM 智能体做物体/路径搜索的基准与后训练方案;对做 VLM 空间推理、全景/具身视觉的人,可直接复用其 H* Bench 评测设定与后训练提升范式。
用视频思考:面向长视频推理的多模态工具增强强化学习
Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
把「按需采样视频帧」做成可调用的视觉工具箱,并用 DGRPO 平衡多任务 RL 中的难度差异,为长视频 MLLM 推理提供了一条可复用的 agentic 训练范式;做视频问答或时序定位时可直接借鉴其多任务数据构造与 RL 策略。
思考扩散:惩罚与引导扩散多模态语言模型中的视觉定位推理
Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models
针对扩散多模态大模型在思维链推理中过早生成答案且视觉定位不足的问题,提出位置与步数惩罚(PSP)和视觉推理引导(VRG),可复用于其他并行生成式多模态模型的推理增强。
超越标签的思考:基于推理增强LMM的无词表细粒度识别
Thinking Beyond Labels: Vocabulary-Free Fine-Grained Recognition using Reasoning-Augmented LMMs
利用推理增强的LMM自动生成并筛选细粒度类别名称,再实例化为轻量多模态分类器,为无词表细粒度识别提供了可复用的三阶段流程,并证明开源LMM在精心设计提示下可媲美闭源模型。
边看边想:面向大型视觉语言模型的流式思维链推理
Think-as-You-See: Streaming Chain-of-Thought Reasoning for Large Vision-Language Models
把视频 LVLM 的思维链从「看完再想」改成「边看边想」,用流式注意力掩码、位置编码和并行 KV 缓存实现帧到达即推理,可直接迁移到任何需要低延迟视频问答或在线视频理解的视觉语言模型上。
先思考,再验证:面向长视频理解的假设验证多智能体框架
Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding
将长视频问答重构为「先提出可检验假设、再定位证据验证」的多智能体流程,为视觉语言模型处理长视频时抑制语义漂移和相关性错误提供了一种可复用的推理范式。
以 3D 思考:基于有限视角的几何想象驱动空间推理
Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views
把 VLM 推理过程中的隐状态与 VGGT 等 3D 基础模型输出的几何潜变量对齐,使模型在无 3D 先验输入时也能进行「脑内 3D 想象」,为视觉研究者提供了一条把 3D 几何表征注入多模态推理的可复用路径。
视觉思考,文本推理:抽象推理中的视觉-语言协同
Think Visually, Reason Textually: Vision-Language Synergy in Abstract Reasoning
论文揭示了视觉与语言在推理不同阶段的互补性:视觉擅长全局模式抽象与验证,语言擅长符号规则表述与精确执行。这为视觉研究者提供了一个可复用的思路——将视觉渲染作为验证模块嵌入文本推理流程,实现内在错误校正,尤其适用于需要从少量示例中归纳规则的少样本视觉推理任务。
驾驶前先思考:受世界模型启发的多模态视觉定位
Think Before You Drive: World Model-Inspired Multimodal Grounding
将世界模型的未来潜状态推演引入视觉定位,用命令感知的潜变量序列为歧义指令提供前瞻线索,这一「先推演后定位」的范式可迁移到任何需要空间关系推理的视觉-语言任务。
LLM 瓶颈:开源视觉大语言模型为何难以进行层级视觉识别
The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
论文用约百万道四选一视觉问答任务,把「层级分类一致性」拆成可量化的评测维度,并证明瓶颈在 LLM 一侧而非视觉编码器;做层级识别、细粒度分类或 VLM 微调的人可以直接复用这套诊断协议,判断性能上限是被语言模型的知识缺口卡住,还是被视觉表征卡住。
文本印刷图像:弥合图像-文本模态鸿沟以实现大型视觉语言模型的文本中心训练
Text-Printed Image: Bridging the Image-Text Modality Gap for Text-centric Training of Large Vision-Language Models
提出将文本直接渲染为图像(TPI)来桥接模态鸿沟,为LVLM在仅有文本数据时提供低成本训练方案,可复用于数据稀缺场景下的视觉语言模型微调与数据增强。
TerraScope:面向地球观测的像素级视觉推理
TerraScope: Pixel-Grounded Visual Reasoning for Earth Observation
把像素级掩码嵌入推理链,让 VLM 在输出答案的同时给出可验证的分割证据,这一「推理链内嵌掩码」的监督构造方式可迁移到需要空间定位的视觉问答与指代任务;其光学/SAR 自适应融合与多时相序列建模也为遥感 VLM 提供了可复用的输入组织范式。
告诉模型该看哪里:以视觉引导注意力缓解多模态大模型中的幻觉
Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention
VGA 利用视觉词元的语义内容构造精确视觉定位,并在推理时用该定位重定向注意力,为视觉研究者提供了一种免训练、兼容 FlashAttention 的注意力干预手段,可直接用于缓解 MLLM 的视觉幻觉与提升区域级视觉理解。
面向层次化视觉识别的分类学感知表征对齐:结合大型多模态模型
Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models
把生物基础模型经层次对比学习得到的表征,通过中间层特征对齐注入 LMM,为视觉研究者提供了一种无需重训即可让多模态模型获得分类学结构先验、并泛化到新类别的可复用对齐手段。
以博弈论多智能体协作框架应对模型偏差的仇恨模因分类
Tackling Model Bias via Game-theoretic Multi-agent Collaboration Framework for Hateful Meme Classification
把多个 LMM 当作博弈参与者,用个体准确率与跨模型一致性构成的混合奖励引导它们收敛到合作均衡,这一思路可直接迁移到任何需要多模态模型集成或投票的视觉-语言任务(如 VQA、多模态事实性判别),用来缓解单个模型的认知偏差。
通过对话式属性挖掘解决行人检索中的对齐歧义
Tackling Alignment Ambiguity in Person Retrieval through Conversational Attribute Mining
用 MLLM 生成对话式属性描述来补充文本侧细粒度线索,并用双向交叉注意力混合器做 token 级对齐,这一「对话属性挖掘 + token 对齐」思路可迁移到任何细粒度图文检索或跨模态 grounding 任务。
TableMix:从数据中心视角增强多模态大语言模型的表格推理能力
TableMix: Enhancing Multimodal Table Reasoning in MLLMs from a Data-Centric Perspective
对做多模态表格理解或文档 VLM 的研究者,这篇给出了一个可复用的数据配方:把多模态表格数据、纯文本数学推理数据和简单多模态感知数据按比例混合,再用难度感知的 GRPO 奖励塑形,缓解预训练造成的推理能力退化;这套数据混合与奖励设计思路可以直接迁移到图表问答、文档理解等视觉推理任务的后训练中。
TUNA:为原生统一多模态模型驯服统一视觉表征
TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models
把 VAE 编码器与预训练表征编码器级联成统一连续视觉空间,让理解与生成共享同一表征,视觉研究者可直接复用该表征设计来消除理解/生成双编码器的格式错配,并借鉴其「表征编码器越强则全任务越好」的结论选型骨干。
TTRV:面向视觉语言模型的测试时强化学习
TTRV: Test-Time Reinforcement Learning for Vision Language Models
把 GRPO 式的强化学习从训练阶段搬到推理阶段:对每个测试样本多次采样,用基座模型输出频率构造奖励,并加入经验分布熵正则控制多样性,从而在无任何标注的情况下在线提升 VLM 的识别与 VQA 表现,可直接复用于任意现成 LVLM 的测试时增强。
TRivia:面向表格识别的视觉语言模型自监督微调
TRivia: Self-supervised Fine-tuning of Vision-Language Models for Table Recognition
把 GRPO 式的强化学习自监督微调用在 VLM 上,用「识别结果能否被正确问答」构造无需标注的奖励信号,并配注意力引导的多样化问题生成;这套闭环奖励设计可迁移到任何缺乏标注的结构化图像解析任务(如公式、图表、版面解析)。
TIPSv2:以增强的图像块-文本对齐推进视觉-语言预训练
TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment
论文提出的 iBOT++ 让未掩码 token 也直接参与损失,并证明图像块级蒸馏可显著增强稠密图像块-文本对齐(学生甚至超过教师),为需要稠密视觉-语言对齐的下游任务(分割、深度预测、开放词表定位)提供了可复用的预训练配方。
TIM:面向纵向放射学报告生成的时序解耦与迭代互精炼模型
TIM: Temporal Decoupling with Iterative Mutual-Refinement Model for Longitudinal Radiology Report Generation
把「空间病理特征」与「时序演变模式」显式解耦到不同表征空间,再用前后两次检查的报告互相纠错迭代精炼——这套解耦+互反馈的思路可迁移到任何需要跨时间点比较的视觉-语言生成任务(如变化描述、时序 VQA)。
TIGeR:时间、图像与地理位置检索的统一框架
TIGER: A Unified Framework for Time, Images and Geo-location Retrieval
TIGeR 用同一套表征同时完成地理定位、拍摄时间预测与「同地异时」图像检索,其核心思路是在外观剧烈变化下保持地点身份不变——这对做跨视角/跨季节地点识别、以及需要把时间作为检索条件的视觉检索系统,提供了一个可复用的多模态查询接口与训练范式。
多多益善:面向高阶多模态对齐的对比融合
THE MORE, THE MERRIER: CONTRASTIVE FUSION FOR HIGHER-ORDER MULTIMODAL ALIGNMENT
ConFu 把「模态对」与「模态对+第三模态」的融合嵌入一起拉进同一对比空间,可直接用于视觉-语言-音频等三模态检索与分类;做 VLM 时若需建模图像、文本、音频之间的 XOR 式互补关系,可把该融合对比项接到现有 CLIP 式双塔上,而不必放弃成对对齐。
TDATR:通过表格细节感知学习和单元格级视觉对齐改进端到端表格识别
TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment
论文提出的结构引导的单元格定位模块和单元格级视觉-语言对齐方法,可被其他需要细粒度视觉-语言对齐的文档理解任务(如表格问答、文档布局分析)借鉴;其“先感知后融合”策略和利用多任务学习增强数据效率的思路,对数据受限场景下的视觉-语言模型训练有参考价值。
TANGO:面向标签噪声下视觉语言模型鲁棒微调的文本锚定引导优化
TANGO: Text-Anchored Guided Optimization for Robust Fine-tuning Vision-Language Models under Label Noise
用文本模态构造与训练标签无关的语义锚点,替代线性分类器并指导样本筛选与标签纠错,为视觉研究者提供一种在脏标注数据上微调 VLM 的即插即用范式。
T2SGrid:面向视频时序定位的时序到空间网格化
T2SGrid: Temporal-to-Spatial Gridification for Video Temporal Grounding
将视频帧按时间顺序以行主序拼成网格图像,把时序定位转化为二维空间理解任务,为视觉语言模型处理长视频提供了一种无需额外时间戳词元的可复用输入组织方式。
将视觉概念合成为视觉-语言程序
Synthesizing Visual Concepts as Vision-Language Programs
把 VLM 当作结构化视觉描述生成器,再将描述编译成可在图像上直接执行的神经符号程序,为需要系统性逻辑推理的视觉任务提供了一条可解释、可抑制捷径学习的替代路径,可复用于视觉归纳推理与组合式推理基准。
SynCLIP:面向鲁棒开放词表密集感知的同义词连贯语言-图像预训练
SynCLIP: Synonym-Coherent Language-Image Pretraining for Robust Open-Vocabulary Dense Perception
针对CLIP类开放词表密集感知中同义词导致的视觉定位不一致问题,提出语义一致空间注意力对齐模块和空间注意力细化模块,可复用于任何需要文本-图像空间对齐的视觉语言任务。
Symphony:受认知启发的多智能体系统用于长视频理解
Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding
提出基于VLM的视觉定位方法评估视频片段与问题的相关性,并设计带反思的多智能体协作机制,可复用于长视频问答中的关键片段定位与多步推理。
StructXLIP:利用多模态结构线索增强视觉-语言模型
StructXLIP: Enhancing Vision-language Models with Multimodal Structural Cues
StructXLIP 将边缘图作为视觉结构代理,并设计结构中心损失来增强视觉-语言对齐,为跨模态检索提供了一种即插即用的微调策略,可复用于其他多模态模型的结构感知训练。
流式视频指令微调
Streaming Video Instruction Tuning
把离线视频 LLM 改造成逐帧到达即可响应的流式助手,其 Streamo-Instruct-465K 的多任务指令构造方式与统一训练管线,可直接复用于需要实时解说、时序定位或时间敏感问答的视频-语言系统。
StreamRAG:以检索增强提升实时视频理解
StreamRAG: Enhancing Real-Time Video Understanding with Retrieval Augmentation
把 RAG 从离线视频搬到流式视频,其 Stream Event Segmentation 的实时边界检测和 Token-Reusing Accelerator 的跨帧计算复用,可直接用于任何需要低延迟视频字幕/检索的视觉语言流水线。
各司其职:面向稠密视频描述的角色专属查询与重叠抑制损失
Stay in your Lane: Role Specific Queries with Overlap Suppression Loss for Dense Video Captioning
把定位与描述拆成角色专属查询并用对比对齐保持语义一致,再以查询间时序重叠惩罚抑制冗余,这套「解耦查询+重叠抑制损失」可直接迁移到任何 query-based 视频定位/描述或时序动作检测框架中缓解多任务干扰。
稳定高效的单次采样强化学习用于多模态推理
Stable and Efficient Single-Rollout RL for Multimodal Reasoning
针对多模态大模型强化学习微调中单次采样不稳定的问题,提出基于熵的优势塑造机制,可复用于视觉语言模型的RLVR训练,提升样本效率并防止训练崩溃。
StaR-KVQA:面向隐式知识视觉问答的结构化推理链
StaR-KVQA: Structured Reasoning Traces for Implicit-Knowledge Visual Question Answering
对做VQA/多模态推理的人,可复用其「符号关系路径+路径锚定自然语言解释」的双路推理链构造与离线数据筛选流程,把答案监督升级为结构感知的自蒸馏,无需外部检索器即可在单次自回归推理中提升可解释性与准确率。
Spot The Ball:视觉社会推理基准
Spot The Ball: A Benchmark for Visual Social Inference
提供了一个需要从注视方向、身体姿态等社会线索推断隐藏目标的评测设定,可用于检验 VLM 是否真正利用结构化行为线索而非空间捷径,并启发在视觉编码中显式建模人体朝向与视线几何。
面向卫星影像的光谱蒸馏表征与指令增强 LLM 对齐
Spectrally Distilled Representations Aligned with Instruction-Augmented LLMs for Satellite Imagery
用冻结的多光谱教师模型向 RGB 学生模型蒸馏光谱先验,再把视觉空间对齐到指令增强 LLM 的嵌入空间,使推理阶段只需 RGB 输入即可获得光谱感知的跨模态表征;这套「教师蒸馏 + LLM 对齐」的两阶段范式可直接迁移到遥感或其他多模态缺失场景的视觉语言预训练。
面向细粒度开放世界分类的特异性感知强化学习
Specificity-aware reinforcement learning for fine-grained open-world classification
为视觉语言模型在开放世界细粒度分类中提供了一种基于强化学习的微调框架,通过动态验证器奖励平衡预测的正确性与特异性,可复用于其他需要提升生成具体性的视觉语言任务。
SpatialTree:空间智能在多模态大模型中如何分支
SpatialTree: How Spatial Intelligence Branches Out in MLLMs
该论文提出的空间能力层级分类和基准测试,为评估多模态大模型的空间智能提供了系统化框架;其发现的负迁移现象和auto-think强化学习策略,对设计视觉-语言模型的空间推理训练方法有直接启发。
SpatialStack:面向3D VLM空间推理的分层几何-语言融合
SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning
把多视图几何编码器的多层特征逐级同步注入语言主干,替代只在深层做视觉-几何晚期融合的做法;做3D VLM或需要精细空间关系理解的工作可直接复用这一分层融合范式。
Spatial-SSRL:通过自监督强化学习增强空间理解
Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning
把普通 RGB/RGB-D 图像自动转成可验证奖励的自监督 pretext 任务(打乱图像块重排、翻转识别、裁剪块修复、区域深度排序、相对 3D 位置预测),可直接用于 LVLM 的 RLVR 训练,绕开人工标注与专用工具,是提升视觉语言模型空间理解的可复用数据构造思路。
SpatiaLQA:评估视觉语言模型空间逻辑推理能力的基准
SpatiaLQA: A Benchmark for Evaluating Spatial Logical Reasoning in Vision-Language Models
可复用其递归场景图辅助推理框架:用视觉基础模型把复杂室内场景逐步分解为与任务相关的场景图,再交给 VLM 做多步空间逻辑推理,这一思路可直接迁移到具身导航、机器人操作等需要空间关系判断的视觉任务。
稀疏谱 LoRA:面向医学视觉语言模型的路由专家
Sparse Spectral LoRA: Routed Experts for Medical VLMs
把预训练权重按 SVD 分段初始化 MoE 专家,并配一个与全秩全量微调对齐的缩放规则,为视觉语言模型在异构医学数据上做参数高效适配提供了可复用的低秩专家路由方案,可直接迁移到其他多数据集 VLM 微调场景。
SpaceTools:通过双重交互式强化学习实现工具增强的空间推理
SpaceTools: Tool-Augmented Spatial Reasoning via Double Interactive RL
提出双阶段交互式强化学习框架,让视觉语言模型通过探索和反馈学习协调多种视觉工具(深度估计、分割、姿态估计),为视觉任务中的工具增强推理提供了可复用的训练范式。
SpaceMind:面向视觉语言模型空间推理的相机引导模态融合
SpaceMind: Camera-Guided Modality Fusion for Spatial Reasoning in Vision-Language Models
把相机表示当作主动引导模态、在语言模型前用轻量融合模块对空间 token 做相机条件化偏置与门控,这一思路可直接迁移到任何需要几何 grounding 的 RGB-only VLM 中,替代浅层特征拼接。
MoE-VLM 中软模态引导的专家特化
Soft Modality-Guided Expert Specialization in MoE-VLMs
对做多模态大模型的人来说,这篇给出了一个可复用的路由改造思路:用随层变化的软模态分数(注意力或高斯统计得到)驱动专家分配,并加互信息正则化让专家按模态分工,同时按专家并行部署做分箱以降低通信;可直接迁移到任意 MoE-VLM 的专家路由设计中。
Socratic-Geo:通过多智能体交互的合成数据生成与跨模态几何推理
Socratic-Geo: Synthetic Data Generation and Cross-Modal Geometric Reasoning via Multi-Agent Interaction
对做视觉语言模型几何推理的人,这篇提供了用多智能体闭环把「图像-文本对」合成与模型学习需求耦合起来的范式:Teacher 用参数化 Python 脚本加可解性/视觉有效性反思保证数据纯度,Solver 的失败路径反过来指导定向增广,Generator 把「图像-代码-指令」三元组蒸馏成图像生成能力,可直接迁移到其他数据稀缺的推理任务。
SoPE:基于球坐标的位置嵌入用于增强3D大视觉语言模型的空间感知
SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs
针对3D点云词元的位置编码缺陷,提出球坐标位置嵌入(SoPE),可替换RoPE用于3D LVLMs,提升空间感知与方向变化建模,为视觉语言模型中的3D几何表示提供新思路。
SoC:面向测试时提示词调优的语义正交校准
SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning
对做 VLM 测试时自适应的人,这篇给出了一个可直接替换全正交约束的 Huber 型正则项:在文本提示词嵌入的原型分离上做平滑约束,既保留语义近邻又避免过度自信,可插到任何 TPT 流程里改善置信度校准。
小目标,大挑战:小目标视觉定位基准
Small Object, Great Challenge: A Benchmark for Small Object Visual Grounding
对做视觉定位的研究者,这篇提供了小目标场景的评测基准 RefCOCOs 与基于 MLLM 的自动数据构建流水线,可直接用于检验现有 VG 模型在尺度分布偏移下的失效模式;SoVG-Net 的分层文本注入模块也给出了把多层级语言特征注入视觉骨干的具体做法。
Skyra:基于接地伪影推理的AI生成视频检测
Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning
提出基于多模态大语言模型的伪影定位与推理框架,可复用于其他可解释视觉检测任务;构建的细粒度伪影标注数据集与基准为后续研究提供评测基础。
SketchVL:通过细粒度信用分配的策略优化用于图表理解及其他任务
SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More
把中间推理步骤以「在图上画标记」的形式外化并回灌给模型,再用过程奖励模型对每一步打分做细粒度信用分配,这套「视觉标注式思维链 + 步级 RL」可直接迁移到需要精确空间定位的视觉推理任务(图表、几何、文档、计数)。
SineProject:面向稳定视觉语言对齐的机器遗忘方法
SineProject: Machine Unlearning for Stable Vision-Language Alignment
对做多模态大模型安全对齐的研究者,这篇论文指出遗忘训练会破坏投影器的雅可比条件数,并给出用正弦调制可训练参数稳定跨模态嵌入的轻量方案,可直接用于视觉语言模型的知识擦除与安全微调。
SenseSearch:通过强化学习赋能视觉语言模型的高分辨率智能体搜索推理
SenseSearch: Empowering Vision-Language Models with High-Resolution Agentic Search-Reasoning via Reinforcement Learning
提出通过强化学习让 VLM 自适应协调图像搜索、文本搜索和图像裁剪工具,解决高分辨率细粒度视觉理解问题;其 BN-GSPO 算法和 HR-MMSearch 基准可直接用于多模态智能体训练与评测。
面向零样本组合图像检索的自引导语义检查
Self-guided Semantic Inspection for Zero-Shot Composed Image Retrieval
DiffComp 用「短语引导掩码」主动制造图文语义差异,再以差异感知组合模块按差异程度自适应融合特征,这套「先制造差异再组合」的自监督训练范式可直接迁移到任何需要图文联合推理的检索或组合式生成任务中。
面向视频常识描述的自批判蒸馏网络
Self-Critical Distillation Network for Video-based Commonsense Captioning
论文把「视频→内容描述→常识」的推理链改造成带奖励函数的自批判学习加级联解码器蒸馏,可复用于任何需要让语言输出更依赖视觉证据、并在多个相关类别间共享推理的视觉-语言生成任务。
面向基于大语言模型的运动轨迹生成与验证的自一致性方法
Self-Consistency for LLM-Based Motion Trajectory Generation and Verification
把自一致性从文本推理迁移到视觉域:用「原型轨迹 + 几何变换群」定义形状族,通过聚类一致轨迹来提升 LLM 生成运动轨迹的准确率,并可作为 VLM 轨迹验证的免训练后处理手段。
少选多推:以证据纯度优先的视频推理
Select Less, Reason More: Prioritizing Evidence Purity for Video Reasoning
提出证据感知强化学习框架,通过动态选择关键帧并在其周围局部重采样,为视频LLM提供高纯度视觉证据,可复用于需要精细时序细节的视频理解任务。
SegEarth-R2:面向遥感图像的综合语言引导分割
SegEarth-R2: Towards Comprehensive Language-guided Segmentation for Remote Sensing Images
面向遥感场景的语言引导分割,用 MLLM 直接输出分割结果;其空间注意力监督机制可迁移到小目标与部件级定位任务,灵活的分割查询机制为单目标/多目标统一建模提供了可复用设计。
无像素感知:从相机轨迹中获取感知
Seeing without Pixels: Perception from Camera Trajectories
把相机位姿轨迹当作一种轻量模态,用对比学习对齐到语言嵌入空间,为视频理解提供了一条不依赖像素的表征路径;做视频-文本检索或第一人称动作理解时,可考虑把轨迹编码器作为额外或替代的视觉分支。
看见场景才重要:用场景感知长视频基准揭示视频理解模型中的遗忘
Seeing the Scene Matters: Revealing Forgetting in Video Understanding Models with a Scene-Aware Long-Video Benchmark
SceneBench 把长视频按「视觉与语义上下文一致的场景」切分,并给出场景级问答协议,可直接用于诊断 VLM 的长程遗忘;Scene-RAG 的动态场景记忆检索思路也可迁移到任何需要跨片段取证的视频问答或视频对话系统。
看见即改进:用于迭代文本布局精修的视觉反馈
Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement
把渲染后的图像作为反馈信号,通过带 OCR 准确率奖励的强化学习驱动 MLLM 迭代自我修正,这一「渲染-评估-重生成」闭环可直接迁移到任何需要视觉结果校验的生成式设计任务(如海报排版、UI 生成、图文合成)。
像专家一样观察:面向开放集细粒度视觉理解的知识增强智能体
Seeing as Experts Do: A Knowledge-Augmented Agent for Open-Set Fine-Grained Visual Understanding
将开放词表检测与网络级检索结合生成类别假设,并通过全局到局部的聚焦机制将检索到的文本知识转化为空间定位证据,为视觉语言模型提供可验证的细粒度推理依据。
看见关键之处:一种免训练的自引导多模态细节感知与推理框架
Seeing What Matters: A Training-Free Self-Guided Framework for Multimodal Detail Perception and Reasoning
提出免训练的双分支关键区域定位(梯度语义相关图 + 视觉词元独特性)与渐进式视觉词元剪枝,可直接插入现成 MLLM 的推理流程,用于提升高分辨率细节感知并降低计算量,对做 VLM 细粒度理解与高效推理的人可复用。
以触觉看世界:触觉驱动的材料区域视觉定位
Seeing Through Touch: Tactile-Driven Visual Localization of Material Regions
把触觉信号当作一种「查询模态」,用密集跨模态特征交互生成触觉显著性图,可直接迁移到文本/音频等非视觉查询驱动的区域定位与分割任务;其材料多样性配对策略也为弱信号条件下的跨模态对齐提供了可复用的数据增强思路。
看清且自信推理:面向视觉语言模型盲区的即插即用补救方案
Seeing Clearly, Reasoning Confidently: Plug-and-Play Remedies for Vision Language Model Blindness
提出一种免微调的即插即用模块:用视觉基础模型先验加同义词增强文本学出稀有物体的多模态类别嵌入,再用轻量注意力模块精炼 VLM 的视觉 token,并把嵌入当作物体感知检测器生成提示注入文本 prompt——这套「视觉 token 精炼 + 文本提示注入」的双路增强思路可直接迁移到任何冻结 VLM 的细粒度/长尾识别与 grounding 场景。
看、想、做:通过识别开关状态教多模态智能体有效交互图形用户界面
See, Think, Act: Teaching Multimodal Agents to Effectively Interact with GUI by Identifying Toggles
把「当前状态感知」显式引入多模态智能体的推理链,对做 GUI 视觉定位与指令遵循的研究者提供了一个可复用的两阶段范式:先读当前视觉状态,再与指令目标状态比对后决策,可迁移到任何需要状态判断的视觉交互任务。
See What I Mean:对齐视觉与语言表示用于视频细粒度物体理解
See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding
通过训练时使用掩码监督来对齐视觉与语言表示,使多模态大语言模型在推理时仅凭文本提示即可自动关注用户指定的物体,为细粒度物体理解提供了一种无需视觉提示的跨模态注意力对齐方法。
看得更少,看得更准:面向多模态推理的双向感知塑形
See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning
BiPS 用「保留问题相关区域」与「抹除关键像素」两种掩码视图构造双向 KL 约束,可直接作为 VLM 微调时的训练正则项,迫使模型依赖细粒度视觉证据而非文本捷径,且不增加推理开销。
看见、说出、理清:面向 LVLM 视觉接地多模态推理的迭代式免训练框架
See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs
提出一种免训练、即插即用的测试时逐步视觉证据监督机制:构建文本化视觉证据池,并用视觉决策模块按推理上下文动态补充证据,可直接套用到任意 LVLM 骨干上抑制多模态思维链中的视觉幻觉传播,无需 RL 微调。
看得更远,想得更深:以低层视觉线索与反思提升视觉语言模型的推理能力
See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection
把低层视觉工具(如显著性/掩码提取)接入 VLM 的思维链,并用基于掩码的视觉反馈让模型在推理中回看图像、修正答案;对做视觉推理、细粒度视觉定位或多模态 agent 的研究者,这是一套可复用的「工具调用+视觉反思」RL 训练范式。
SeD-UD:面向多模态意图识别的、影响驱动且分层解耦的信息瓶颈
SeD-UD: An Influence-Driven and Hierarchically-Decoupled Information Bottleneck for Multimodal Intent Recognition
论文提出的影响驱动自适应瓶颈(IDAB)模块可根据样本级冗余/噪声因子动态调整瓶颈维度,这一思路可直接迁移到视觉-语言模型的多模态特征融合环节,用于按样本抑制视觉与文本模态中的冗余信息。
Score2Instruct:通过自动维度评分扩展以视频质量为中心的指令
Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring
提出基于自动维度评分的指令生成流水线(SIG),将无标注视频的多维质量分数映射为文本等级并构造分层思维链,为视频 LMM 提供可扩展的质量指令数据;其渐进式微调策略与 S2I-Bench 可直接用于评估和提升视频 LMM 的质量评分与解释能力。
SciEducator:基于戴明循环多智能体系统的科学视频理解与教育
SciEducator: Scientific Video Understanding and Educating via Deming-Cycle Multi-Agent System
将戴明循环(Plan-Do-Study-Act)重构为多智能体自演化推理与反馈机制,用于科学视频的逐步推理与外部知识整合;该迭代式智能体框架可迁移到需要专业领域知识注入的视频问答与教学场景。
场景即词元:面向通用三维视觉语言理解的多尺度正态分布变换分词器
Scenes as Tokens: Multi-Scale Normal Distributions Transform Tokenizer for General 3D Vision-Language Understanding
把高分辨率点云经多尺度 NDT 表示压缩成 LLM 可消费的整体场景 token,并用同一个解码器同时承担点/框/掩码提示编码与掩码解码,为 3D VLM 提供了一套可复用的「场景分词 + 统一提示接口」范式。
通过视觉记忆机制扩展多模态大语言模型的长视频理解能力
Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism
提出免训练的视觉记忆机制,将视觉KV缓存作为记忆源,通过双路径压缩和多样化读取策略,使多模态大模型能处理无限长度视频,为长视频理解提供可复用的记忆管理方案。
通过自批判推理框架扩展视觉语言模型的测试时鲁棒性
Scaling Test-Time Robustness of Vision-Language Models via Self-Critical Inference Framework
提出自批判推理框架,通过多轮文本与视觉扰动的反事实推理提升LVLM鲁棒性,并引入动态鲁棒性基准DRBench,为视觉语言模型的可靠性评估与测试时增强提供可复用方法。
以多模态基础模型扩展空间智能
Scaling Spatial Intelligence with Multimodal Foundation Models
该工作系统构建了800万空间能力数据并微调多模态基础模型,为视觉研究者提供了可复用的空间智能训练数据构建范式与评测基准,同时揭示了数据缩放对空间推理泛化能力的影响。
扩展智能体强化学习以提升视觉语言模型中的工具集成推理
Scaling Agentic Reinforcement Learning for Tool-Integrated Reasoning in VLMs
提供了一个可扩展的视觉智能体强化学习训练环境与标准化视觉工具接口,视觉研究者可复用其多轮轨迹采样与可验证反馈机制,训练 VLM 学会在推理中自主调用 grounding、parsing 等视觉工具,从而把「看图」变成多步交互式推理。
可扩展的物体关系编码:提升大语言模型中的三维空间推理能力
Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models
QuatRoPE 用四元数式整体向量编码 3D 坐标,并通过注意力层点积隐式算出成对空间关系,使输入长度随物体数线性增长;做 3D 场景-语言对齐或把场景图喂给 LLM 的工作可直接复用这一位置编码与 IGRE 门控扩展思路。
相同还是不同?增强视觉语言模型的视觉感知
Same or Not? Enhancing Visual Perception in Vision-Language Models
TWIN 提供了一种可直接加入 VLM 训练语料的图像对「同/不同」判别任务,用来强化模型对细微视觉差异的注意力;做 VLM 微调或细粒度识别时,可把它当作低成本的数据侧增强手段,并用 FGVQA 这类改造自细粒度识别与检索数据集的基准来量化感知精度提升。
相同内容,不同答案:多模态大语言模型中的跨模态不一致性
Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs
该论文提出的REST/REST+基准可用于系统评估多模态大语言模型的跨模态一致性,其发现视觉特征(文本颜色、分辨率)和视觉token数量影响模型性能,为设计更鲁棒的视觉语言模型提供了可复用的评测方法和分析视角。
同样的注意力,不同的真相:用 Logit Lens 审视视觉注意力以检测和缓解 LVLM 物体幻觉
Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination
提出用 Logit Lens 解码高注意力区域的视觉特征,以检测 LVLM 物体幻觉,并针对视觉不确定性和上下文先验两种机制分别设计免训练缓解策略(HARM 和 VEED),可直接用于提升多模态模型生成可靠性。
Saliency-R1:通过显著性图对齐奖励强化可解释且忠实的视觉语言推理
Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward
提出一种无需额外计算开销的显著性图方法,可追踪视觉信息在推理链中的流动,并用显著性图与人工标注框的重叠度作为 GRPO 奖励,为 VLM 的视觉 grounding 与忠实性训练提供了可复用的奖励设计与归因工具。
SafeGRPO:通过规则约束的策略优化实现自奖励多模态安全对齐
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization
对做多模态大模型安全对齐的研究者,这篇给出了可复用的配方:用带视觉/文本/组合安全标签的数据集构造规则化可验证奖励,再接入 GRPO 做自奖励强化学习,并配合分步安全思维链约束推理轨迹;可直接迁移到其他 VLM 的安全微调或推理时风险感知训练。
SVHalluc:面向音视频大语言模型的语音-视觉幻觉基准
SVHalluc: Benchmarking Speech-Vision Hallucination in Audio-Visual Large Language Models
为视觉研究者提供了一个诊断音视频大模型「语音-视觉」跨模态对齐能力的评测框架,其语义与时序双维度探针可直接用于检验视频理解模型是否真正将语音内容落地到对应画面,而非仅靠单模态先验作答。
SVAgent:故事线引导的跨模态多智能体协作长视频理解
SVAgent: Storyline-guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration
把「故事线」作为可迭代演化的中间表示,配合跨模态决策智能体与元智能体做答案对齐,为长视频问答提供了一种无需额外训练、可插拔的多智能体推理框架,可直接迁移到长视频理解与时序推理任务。
STiTch:协同语义过渡与传输的免训练零样本组合图像检索
STiTch: Semantic Transition and Transportation in Collaboration for Training-Free Zero-Shot Composed Image Retrieval
把检索从点对点匹配改成基于最优传输的集合到集合对齐,并用嵌入空间中的过渡向量修正 LLM 生成的描述,这两点可直接迁移到任何图文检索或跨模态匹配任务中。
STAR:测试时自适应可增强视觉语言模型的通用提示词学习
STAR: Test-Time Adaptation Can Enhance Universal Prompt Learning for Vision-Language Models
提出基于Fisher分数的可分离性感知门控与共轭优化,结合动态记忆库的原型检索来校准OOD检测,为视觉语言模型在无标签且含OOD样本的目标域上进行测试时提示词学习提供了可靠伪标签生成与偏差缓解的通用技术方案。
STAR-R1:通过强化多模态大模型实现多视图空间变换推理
STAR-R1: Multi-View Spatial TrAnsformation Reasoning by Reinforcing Multimodal LLMs
把可验证奖励的强化学习(RLVR)与过程监督 SFT 两阶段结合,用于多视图空间变换推理;其「指代感知奖励」设计可直接迁移到需要跨视图物体对应的 VLM 空间理解任务(如 MMSI-Bench、MindCube 类基准)。
SPOT:面向运动稳定 MLLM 引导视频分割的时空提示词优化
SPOT: Spatiotemporal Prompt Optimization for Motion-Stabilized MLLM-Guided Video Segmentation
提出一种仅通过约束 MLLM 输出行为(布朗桥损失和几何感知提示词质量损失)来提升视频分割时序一致性的方法,无需视频预训练或架构修改,为利用静态图像训练的视觉基础模型处理动态视频任务提供了可复用的正则化思路。
SPARROW:在像素级视频多模态大模型中学习空间精度与时序指代一致性
SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs
针对视频 MLLM 中静态 [SEG] 词元缺乏时序上下文导致的漂移与身份切换问题,提出目标特定跟踪特征(TSF)注入时序对齐的指代线索,并用 [BOX]/[SEG] 双提示解码融合几何先验与语义定位;这套即插即用设计可直接迁移到任意视频 MLLM 的像素级指代任务上。
SOUPLE:以可学习提示词上下文增强音视频定位与分割
SOUPLE: Enhancing Audio-Visual Localization and Segmentation with Learnable Prompt Contexts
用可学习的上下文词元替代 CLIP 中固定的文本提示词,并把视觉特征注入其中生成条件上下文,为视觉侧提供了一种可复用的提示词调优范式,可直接迁移到开放词表检测、指代分割等需要文本-视觉对齐的任务。
SOTA:面向多基础模型零样本分类的自适应最优传输
SOTA: Self-adaptive Optimal Transport for Zero-Shot Classification with Multiple Foundation Models
提出一种免训练的自适应最优传输集成框架,可即插即用地融合多个视觉或视觉语言基础模型的输出,提升零样本分类性能,为多模型集成提供新思路。
SO-Bench:多模态大语言模型的结构化输出评测
SO-Bench: A Structural Output Evaluation of Multimodal LLM
为视觉研究者提供了一个以 JSON schema 约束 MLLM 输出的评测与训练框架,可直接用于评估和提升模型在 UI、文档、图表等图像上的结构化信息抽取能力,也可作为 schema 约束解码或结构化微调的数据来源。
SMAP:基于地图锚定的多模态对齐的语义路线规划
SMAP: Semantic Route Planning with Map-Grounded Multimodal Alignment
把地图瓦片当作视觉输入喂给多模态大模型,并用「草稿—校验」自编辑加幻觉惩罚 DPO 抑制空间幻觉,这套「视觉证据校验 + 偏好对齐」流程可迁移到任何需要地理/空间落地的视觉-语言任务(如视觉导航、地图问答、具身路径规划)。
SEASON:通过自诊断对比解码缓解视频大语言模型中的时序幻觉
SEASON: Mitigating Temporal Hallucination in Video Large Language Models via Self-Diagnostic Contrastive Decoding
提出免训练的对比解码框架,逐 token 诊断幻觉倾向并构造时序/空间负样本做自适应对比,可直接套用到任意 VideoLLM 的推理阶段以抑制时序不一致描述,无需重训。
SEA:通过元素级常识视觉问答评估草图抽象效率
SEA: Evaluating Sketch Abstraction Efficiency via Element-level Commonsense Visual Question Answering
把 VQA 模型当作「元素存在性检测器」来给草图抽象效率打分,这个无参考、元素级的评估范式可以迁移到任何需要衡量「语义保留 vs 视觉简化」的生成任务上(如简笔画生成、图标/logo 生成、示意图生成的质量评估)。
SAVE:面向视频-文本检索的语音感知视频表征学习
SAVE: Speech-Aware Video Representation Learning for Video-Text Retrieval
为视频-文本检索引入语音分支和软对齐策略,视觉研究者可借鉴其音视频早期对齐与融合机制,提升多模态检索性能。
SARL-STG:用于精炼多模态大语言模型时空视频定位的空间感知强化学习框架
SARL-STG: A Spatially Aware Reinforcement Learning Framework for Refining MLLMs in Spatio-Temporal Video Grounding
把开放词表检测器的空间定位质量作为强化学习奖励信号,反向驱动 MLLM 的时序推理,为视觉语言模型在视频定位任务中提供了一种可复用的「空间反馈时序」训练范式。
SAMTok:用两个词表示任意掩码
SAMTok: Representing Any Mask with Two Words
把任意区域掩码离散化为两个 token,使基础 MLLM 无需改架构、无需专用分割解码器即可用标准下一词预测和 RL 获得像素级理解与生成能力;做区域级 VLM、grounding 或交互式分割的工作可直接复用该掩码分词方案与文本答案匹配奖励。
S$^2$-MLLM:以结构引导提升多模态大语言模型空间推理能力用于3D视觉定位
S$^2$-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance
用前馈三维重建的结构感知作为隐式空间引导,替代逐视角点云渲染,让 MLLM 在不重建点云的情况下获得 3D 空间推理能力;其 intra/inter-view 注意力加多级位置编码的结构增强模块可直接迁移到任何需要把多视角 2D 特征对齐到 3D 空间的 VLM 任务。
RxnCaption:将反应图解析重构为视觉提示引导的图像描述
RxnCaption: Reformulating Reaction Diagram Parsing as Visual Prompt Guided Captioning
将坐标预测式解析重构为图像描述任务,并利用视觉提示(边界框与索引)引导 LVLM,为文档图像的结构化信息提取提供了可复用的范式。
统一多模态大模型的罗塞塔石碑:一种破译理解与生成的统一分词器
Rosetta Stone For Unified MLLMs: A Unified Tokenizer to Decipher Understanding and Generation
提出一种分层解耦代理任务并引入注意力优先映射的统一视觉分词器,可直接替换离散统一多模态大模型中的视觉分词模块,在理解与生成任务上同时提升;其关于对比学习式模型在统一生成与理解时存在内在冲突、以及码本收敛行为差异的分析,对设计统一视觉表征具有直接参考价值。
Role-SynthCLIP:一种角色扮演驱动的多样化合成数据方法
Role-SynthCLIP: A Role-Play Driven Diverse Synthetic Data Approach
用多视角角色扮演提示驱动 MLLM 为同一张图生成互补字幕,在固定图像数量下提升图文对的语义多样性,可直接复用于 CLIP 类模型的预训练数据构造与细粒度对齐。
RobustVisRAG:视觉退化下因果感知的基于视觉的检索增强生成
RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations
提出因果引导的双路径框架,通过非因果路径捕获退化信号并引导因果路径学习纯化语义,为视觉检索增强生成在退化条件下的鲁棒性提供了可复用的解耦思路;同时构建的 Distortion-VisRAG 数据集可用于评测多模态检索与生成模型在真实退化下的表现。
面向噪声对应的鲁棒遥感图像-文本检索
Robust Remote Sensing Image-Text Retrieval with Noisy Correspondence
针对视觉-语言检索中图文对不完美匹配的现实问题,提出基于损失幅度的样本可靠性加权与自步学习调度,可迁移到其他跨模态检索或对比学习训练流程中以提升对噪声对应的鲁棒性。
重新审视以视觉为中心的推理泛化中长思维链的必要性
Revisiting the Necessity of Lengthy Chain-of-Thought in Vision-centric Reasoning Generalization
对做视觉推理 SFT 数据构造的人有直接指导:不必堆长 CoT 或图像操作式 CoT,只保留关键视觉定位步骤的极简 CoT 反而在不同难度(网格尺寸)上泛化最好,可作为构建可泛化视觉推理训练数据的默认策略。
检索反事实样本改进视觉上下文学习
Retrieving Counterfactuals Improves Visual In-Context Learning
把「示例选择」从被动相似度检索改成属性引导的组合图像检索,主动构造反事实示例对,可直接用于任何基于 ICL 的 VLM 少样本适配流程,尤其是小模型与信息稀缺场景。
重新思考大视觉语言模型的词元缩减
Rethinking Token Reduction for Large Vision-Language Models
将词元缩减从启发式剪枝/合并转为可学习的压缩映射,并针对多轮VQA中后续问题未知的设定设计提示词无关的压缩器,为LVLM推理加速提供可复用训练范式。
从Gromov-Wasserstein距离视角重新思考VLM中的模型选择
Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance
提出一种仅需推理的指标(Gromov-Wasserstein距离)来预测视觉编码器与LLM对齐后的VLM性能,可用于在完整训练前高效筛选视觉编码器,避免盲目选择大模型或高零样本精度的编码器。
重新审视跨模态锚框对齐以缓解误差累积
Rethinking Cross-Modal Anchor Alignment for Mitigating Error Accumulation
针对跨模态匹配中干净锚框对也会累积误差的问题,用傅里叶变换压制非关键细粒度扰动、以角度一致性重估软标签,可直接迁移到图文检索与跨模态对齐训练中抑制噪声累积。
重新审视多标签图像识别微调中的 BCE 损失
Rethinking BCE Loss for Multi-Label Image Recognition with Fine-Tuning
针对 CLIP 提示词微调做多标签识别时 BCE 监督导致的置信度失准问题,提出用类别协方差正则把预测的类别置信度协方差结构对齐到预训练文本嵌入的语义相关性上,可作为即插即用的正则项用于任何基于 CLIP 的多标签/多类别微调流程,改善校准而不损精度。
RetFormer:用于增强图像识别的多模态检索
RetFormer: Multimodal Retrieval for Enhancing Image Recognition
将外部多模态知识库与检索交叉融合模块引入视觉识别,为长尾分布和噪声标签下的图像分类提供了一种不依赖增大模型参数的增强思路。
破解证据稀疏:面向长文档理解的智能体上下文工程
Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding
对做多模态长文档问答的研究者,这篇提供了一个可复用的「检索后二次精炼」范式:用多个智能体在检索到的页面里筛出表格、图表等显著视觉证据,再蒸馏成证据密集的多模态上下文喂给 VLM,可直接迁移到多页文档 VQA 与图表理解流程中。
残差解码:通过历史感知残差引导缓解大型视觉语言模型的幻觉
Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance
ResDec 是一种免训练的解码策略,利用 LVLM 内部词元 logits 的演化历史来校正语言先验带来的偏置;做视觉问答或多模态生成时可直接套用到现有模型的解码阶段,无需重训即可提升视觉 grounding、减少物体幻觉。
关系视觉相似性
Relational Visual Similarity
提出关系相似度这一新度量维度,并给出可操作的构建方法:用匿名化描述关系逻辑的caption微调VLM,使表征空间按关系结构而非表观属性聚类,可直接用于检索、类比推理等需要超越LPIPS/CLIP/DINO的场景。
拒绝混合:面向高效 DLLM 推理的掩码词元快速语义传播
Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference
ReMix 的连续混合状态与拒绝回退机制可迁移到视觉语言模型的掩码扩散解码中,用于缓解并行解码时的组合矛盾,实现免训练加速且不损失质量。
强化结构化思维链以提升视频理解
Reinforcing Structured Chain-of-Thought for Video Understanding
提出无需 SFT 的单阶段强化学习框架 SDRL,用「总结-思考-回答」结构化思维链和两个自监督机制(CVK 约束视觉事实一致性、DVR 按组准确率调节推理多样性)来抑制视频推理中的思维漂移;做视频 MLLM 推理增强的工作可直接复用该 GRPO 目标改造思路。
强化学习以学习,选举以推理:视频推理的双范式
Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning
提出一种训练时用强化学习生成结构化证据、推理时用证据加权选举的范式,可迁移到视频问答、时序定位等需要证据对齐的视觉语言任务,提升推理可靠性与可解释性。
Refer-Agent:面向指代视频目标分割的推理与反思协同多智能体系统
Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation
把 RVOS 拆成由 MLLM 驱动的多智能体逐步推理流程,用 Questioner-Responder 反思链校验中间结果并回灌下一轮推理,配合由粗到细的帧选择与动态视觉焦点布局;这套无需微调即可接入新 MLLM 的推理框架,可直接迁移到视频问答、时序定位等需要跨帧证据聚合的视觉-语言任务。
RefAV:迈向以规划为中心的场景挖掘
RefAV: Towards Planning-Centric Scenario Mining
把「场景挖掘」形式化为基于自然语言查询的时空指代定位任务,可直接复用指代式多目标跟踪(referential MOT)的设定与评测协议;同时给出「现成 VLM 直接套用效果差」的实证,提示做视觉-语言 grounding 的研究者需要针对多智能体交互与长时驾驶日志设计专门的时序聚合与轨迹级指代建模。
基于视觉语言模型的循环推理用于估计长时程具身任务进度
Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress
提出循环推理框架,用不断演化的思维链(CoT)记录任务分解与完成状态,迭代处理局部视频片段,避免长视频的高计算成本,为视觉语言模型在长时序视频推理中提供可复用方案。
为开放词表稠密感知重构 CLIP
Reconstructing CLIP for Open-Vocabulary Dense Perception
对做开放词表稠密感知的人,这篇给出了如何从 CLIP 全局 cls token 的多层 value embedding 构造稠密特征、并用轻量门控模块按 head 异质性重加权以缓解空间聚合带来的语义错位的具体做法,可直接迁移到开放词表检测与分割的稠密-全局对齐流程中。
基于推理驱动的图像级监督异常检测与定位
Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision
利用MLLM自回归推理过程中的注意力响应生成像素级异常图,仅需图像级监督,为视觉异常检测提供无需密集标注的新范式。
推理调色板:通过潜变量情境化为(视觉)语言模型的可控探索调制推理
Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs
为视觉语言模型提供一种在生成前对推理策略做潜变量采样的机制:从问答对均值池化嵌入经 VAE 采样潜变量,解码为可学习词元前缀拼接到提示前,可在 RL 训练中按需注入不同推理模式以提升探索多样性,可直接迁移到多模态推理与 RLHF 流程。
ReasonMap:迈向基于交通地图的细粒度视觉推理
ReasonMap: Towards Fine-Grained Visual Reasoning from Transit Maps
ReasonMap 提供了一个需要细粒度视觉理解与空间推理的基准,可用于评估和诊断 MLLM 在视觉接地上的不足;其视觉掩码分析和强化微调基线为改进多模态模型的视觉推理能力提供了可复用的评测与训练思路。
跨层重分配注意力以减少多模态幻觉
Reallocating Attention Across Layers to Reduce Multimodal Hallucination
提出一种免训练、轻量级的注意力重分配插件,通过识别感知与推理功能头并类条件缩放其层间贡献,可直接用于缓解多模态大模型在视觉问答等任务中的幻觉,提升视觉忠实度。
阅读还是推理?面向文档OCR的格式解耦强化学习
Reading or Reasoning? Format Decoupled Reinforcement Learning for Document OCR
针对文档OCR中格式敏感文本(公式、表格)输出熵高的问题,提出基于熵的数据过滤和格式解耦奖励的强化学习微调方法,可复用于其他需要结构化输出的视觉语言模型任务。
ReaGEN:面向高效多模态推理的自适应结构化思维链生成
ReaGEN: Adaptive Generation of Structured Chains-of-Thought for Efficient Multimodal Reasoning
对做多模态推理的视觉研究者,这篇给出了一个可复用的思路:用 VLM 内部注意力信号衡量推理各阶段的重要性,并训练一个轻量生成器动态产出问题自适应的思维链结构,从而以单路径开销获得多路径搜索的灵活性;可直接嵌入自托管 LVLM 的推理流程以替代昂贵的测试时搜索。
ReMoT:基于运动对比三元组的强化学习
ReMoT: Reinforcement Learning with Motion Contrast Triplets
用规则化流程从视频元标注自动构造运动对比三元组,并以 GRPO 替代 SFT 训练 VLM 判别细微运动差异(如相反方向),为视频时序理解与具身/驾驶场景的时空一致性提供可复用的数据构造与强化学习后训练方案。
ReMoRa:基于精细化运动表征的多模态大语言模型用于长视频理解
ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding
用块级运动矢量作为光流式的紧凑时序代理,替代逐帧 RGB 输入,并配去噪模块提升运动表征保真度;对做长视频理解的人,这是一条把解码与序列长度成本从 RGB 帧转移到压缩域的可复用路径。
ReMatch:通过匹配提升多模态检索中的表征
ReMatch: Boosting Representation through Matching for Multimodal Retrieval
将MLLM的生成能力用于多模态检索,通过生成式匹配阶段提供实例级判别监督,增强对比学习在困难负样本上的梯度;同时使用多个可学习token生成细粒度正交嵌入,为视觉-语言检索提供可复用的训练配方。
ReLaX:面向大型推理模型的潜空间探索推理
ReLaX: Reasoning with Latent Exploration for Large Reasoning Models
ReLaX 利用 Koopman 算子理论对 LRM 的隐藏状态动力学进行线性化建模,并提出动态谱离散度(DSD)指标来量化潜空间探索程度,为视觉-语言模型中的强化学习微调提供了一种超越词元级多样性的探索调控手段,可直接用于多模态推理任务的策略优化。
ReFAct:赋予多模态网络智能体视觉与上下文聚焦能力
ReFAct: Empowering Multimodal Web Agents with Visual and Context Focusing
提出 Grounding 工具进行主动视觉感知以动态过滤视觉信息,并设计基于外部记忆的 Defocus/Refocus 操作调节多模态上下文信息密度,可复用于视觉语言模型在噪声环境下的鲁棒推理。
ReCALL:为基于多模态大模型的组合图像检索重新校准能力退化
ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval
把生成式 MLLM 适配为判别式检索器时会出现细粒度推理能力退化,ReCALL 用「自引导难例挖掘 + MLLM 生成纠正指令与三元组 + 分组对比持续训练」的 diagnose-generate-refine 流程把退化能力拉回来;做多模态检索或把 MLLM 蒸馏成嵌入模型的工作可直接复用这套自举数据生成与一致性过滤机制。
ReBaPL:排斥式贝叶斯提示学习
ReBaPL: Repulsive Bayesian Prompt Learning
把提示词优化从点估计改成对多模态后验的采样,并用表征空间上的排斥力(MMD/Wasserstein)防止所有样本塌到同一模式;做视觉-语言下游适配时可直接套在现有提示学习框架上提升分布外泛化。
ReAG:面向知识型视觉问答的推理增强生成
ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering
对做视觉语言模型的人,这篇给出了一个可复用的多模态 RAG 流程:粗粒度+细粒度两阶段检索、critic 模型过滤噪声段落、再用强化学习让模型对检索内容做推理,可直接迁移到需要外部知识的 VQA 或 captioning 场景。
面向多模态思维链的理由增强解码
Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought
提供了一种推理时即插即用的解码策略:将图像条件与思维链理由条件的下一词元分布相乘,可直接套用到任意 LVLM 的多模态推理流程中,无需训练即可提升理由忠实度与答案准确率。
ROSE:旋转你的大语言模型使其看见
ROSE: Rotate Your Large Language Model to See
提出用旋转矩阵把视觉语义直接作用到 LLM 预训练参数上的参数空间注入方式,替代把视觉 token 拼进输入序列的做法;做视觉-语言对齐、想降低多模态上下文长度与推理成本的工作可以直接借鉴这一注入接口。
RNED:面向医学视觉语言模型的旋转数值编码与解码
RNED: Rotary Number Encoding and Decoding for Medical VLMs
RNED 将连续数值编码为旋转矩阵作用于专用数值词元嵌入,并设计基于分数匹配的解码器,可直接用于视觉语言模型中的坐标回归、尺寸估计等连续量预测任务,替代离散化词元方案。
REVISOR:超越文本反思,面向长视频理解的多模态内省推理
REVISOR: Beyond Textual Reflection, Towards Multimodal Introspective Reasoning in Long-Form Video Understanding
把纯文本的自我反思扩展为跨文本与视觉片段的反思过程,并用 Dual Attribution Decoupled Reward 在 GRPO 中约束推理与所选视频证据的因果对齐;做长视频 VQA 或多模态推理的工作可以直接借用这套「视觉片段回溯 + 解耦奖励」的强化学习框架,无需额外监督微调或外部模型。
RE-VLM:事件增强的视觉语言模型用于场景理解
RE-VLM: Event-Augmented Vision-Language Model for Scene Understanding
将事件相机作为补充模态引入视觉语言模型,通过双流编码器和渐进式训练对齐异构特征,为低光照、高动态范围等挑战性场景下的视觉语言理解提供了可复用的多模态融合方案。
R4:面向视觉语言模型在 4D 时空空间中的检索增强推理
R4: Retrieval-Augmented Reasoning for Vision-Language Models in 4D Spatio-Temporal Space
把物体级语义描述锚定到度量空间与时间轴上构建可跨智能体共享的 4D 知识库,并用语义/空间/时序三路键做检索,为 VLM 在具身场景中提供免训练的长时记忆与时空推理能力,可直接迁移到导航与情景问答。
R4-CGQA:基于检索的视觉语言模型用于计算机图形图像质量评估
R4-CGQA: Retrieval-based Vision Language Models for Computer Graphics Image Quality Assessment
提出双流检索增强生成框架,利用视觉相似图像的质量描述提升VLM对细粒度图像质量的判断能力,可迁移至其他需要细粒度感知的视觉语言任务。
R-C2:循环一致性强化学习提升多模态推理
R-C2: Cycle-Consistent Reinforcement Learning Improves Multimodal Reasoning
用跨模态循环一致性构造无标签的密集奖励,可直接迁移到 VLM 的视觉问答与多模态推理训练中,替代投票式自一致性来抑制模态偏置。
R-4B:通过双模式退火与强化学习激发多模态大模型中的通用自动思考
R-4B: Incentivizing General-Purpose Auto-Thinking in MLLMs via Bi-Mode Annealing and Reinforce Learning
为视觉语言模型引入「按输入复杂度自动决定是否展开逐步推理」的双模式机制,配合双 rollout 强化学习策略,可直接迁移到需要兼顾精度与推理成本的 VQA、图文推理等视觉任务部署中。
配额校准的细粒度对齐与上下文感知边缘分布用于文本行人检索
Quota-Calibrated Fine-Grained Alignment with Context-Aware Marginals for Text-based Person Retrieval
QC-Align 提出一种无需参数、即插即用的训练正则化器,通过上下文感知的边缘分布估计和配额校准的最优传输目标,显式约束文本词与视觉区域之间的多对多匹配质量,可被复用于任何需要细粒度跨模态对齐的视觉-语言任务(如跨模态检索、图文匹配),尤其在少样本和跨域场景下提升基线性能与可解释性。
基于记忆反馈的问题引导视觉压缩用于长视频理解
Question-guided Visual Compression with Memory Feedback for Long-Term Video Understanding
提出问题引导的多模态选择性注意力(QMSA),将上下文记忆中的历史帧反馈到当前感知,用于压缩长视频中的视觉 token;该机制可复用于任何需要长时序视觉 token 压缩的 VLM 推理流程。
从量化残差到连续提示词:面向视觉语言模型少样本类增量学习
Quantized Residuals to Continuous Prompts for Few-Shot Class Incremental Learning in Vision-Language Models
把 VLM 图文特征的残差当作补充细粒度线索的载体,并用离散码本量化残差子空间、再由分层提示词编码器解码成连续类自适应提示词,这套「残差量化→连续提示词」的接口可直接迁移到其他需要稳定+可塑的 VLM 增量适配场景。
QuantiPhy:评估视觉语言模型物理推理能力的定量基准
QUANTIPHY: A Quantitative Benchmark Evaluating Physical Reasoning Abilities of Vision-Language Models
该基准把 VLM 的物理理解从定性 VQA 推进到对尺寸、速度、加速度的定量数值估计,并揭示模型依赖预训练世界知识而非忠实使用视觉输入;做视频理解或多模态推理的研究者可用它诊断模型是否真正从像素中推断运动学量,也可借鉴其标准化提示与评分协议来构建数值化评测。
以大规模多模态对应学习推进音视频感知前沿
Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning
把视频-文本对比学习扩展到音视频-文本三模态联合嵌入,并提供用大模型为亿级音视频对合成高质量描述的数据引擎;做视频理解或多模态检索时,可直接复用其十组成对对比目标与跨模态/描述类型配对的扩展策略来提升零样本迁移。
Proxy3D:通过语义聚类与对齐为视觉语言模型构建高效三维表征
Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment
用语义感知聚类把视频帧特征压缩成一组 3D 代理 token 替代像素对齐的视觉序列,为 VLM 提供紧凑且具空间一致性的视觉输入;做 3D 空间推理或多模态大模型视觉编码器压缩时可复用这一「聚类成代理 + 多阶段对齐」范式。
原型即提示:多模态情感原型赋予大语言模型执行多模态情感分析的能力
Prototype-as-Prompt: Multimodal Sentiment Prototypes Endowing Large Language Models the Capability to Perform Multimodal Sentiment Analysis
将视觉-音频特征压缩为可解释的多模态情感原型,并作为软提示注入LLM,为视觉-语言模型提供了一种参数高效且语义明确的条件控制方式,可复用于其他多模态理解任务。
感知证明:具备组合共形保证的可认证工具使用多模态推理
Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees
把每个感知/逻辑节点包成共形预测集,为多模态推理链提供逐步校准的不确定性,可用来决定何时追加工具调用、何时提前停止,从而抑制视觉问答中的误差累积与幻觉。
探测并桥接视觉基础模型中可供性推理的几何-交互线索
Probing and Bridging Geometry-Interaction Cues for Affordance Reasoning in Vision Foundation Models
对做视觉研究的人,这篇论文提供了一种无需训练、零样本的可供性估计思路:把 DINO 的部件级几何原型与 Flux 的动词条件空间注意力图直接融合,可作为视觉基础模型内部表征探测与多模态先验组合的通用手段。
面向统一图像美学与质量评估的概率提示词适配
Probabilistic Prompt Adaptation for Unified Image Aesthetics and Quality Assessment
把「提示词选择」建模为对 LLM 预采样提示词集合的混合分布并做边缘化,使视觉语言模型能在只有 (任务, 图像, 分数) 三元组、无标注的情况下适配任意文本提示词;做文本条件评分或提示词敏感任务时可复用这一概率化提示词适配思路。
面向多模态虚假信息检测的概率概念图推理
Probabilistic Concept Graph Reasoning for Multimodal Misinformation Detection
把多模态虚假信息检测重构为「概念图构建 + 图上的层次化注意力推理」,并用 MLLM 自动发现与验证高层概念节点,这条「先建图后推理」的范式可迁移到需要可解释证据链的图文一致性判断任务(如图文匹配、事实核查、caption 幻觉检测)。
ProM3E:面向生态学的概率掩码多模态嵌入模型
ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology
在嵌入空间做掩码模态重建、支持任意模态到任意模态的生成与模态反转,这种「学什么该融合」的概率式融合思路可直接迁移到视觉-文本-音频等多模态检索与缺失模态补全任务。
面向大型视觉语言模型幻觉缓解的预填充阶段干预
Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models
在 prefill 阶段一次性修改 KV cache 来抑制 LVLM 幻觉,且对 key/value 分别施加视觉与文本方向,可与任意解码阶段方法正交叠加,为视觉语言模型的推理期干预提供了新的可复用切入点。
多模态大语言模型中对抗视觉表征退化的预测正则化
Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models
提出预测正则化(PRe)强制中间层退化视觉特征预测初始视觉特征,为提升MLLM内部视觉表征质量提供可复用训练策略,可缓解语言驱动训练导致的视觉保真度下降。
PowerCLIP:面向对比预训练的幂集对齐
PowerCLIP: Powerset Alignment for Contrastive Pre-Training
把图文对齐从「整图-整句」和「单 token-单 patch」推进到「区域子集-短语子树」的幂集级对齐,并用非线性聚合器把 2^M 复杂度降到 O(M),这套聚合思路可直接迁移到任何需要枚举组合子集的细粒度跨模态对齐或区域级对比学习框架中。
指向部件:多模态大语言模型中的免训练少样本视觉定位
Pointing at Parts: Training-Free Few-Shot Grounding in Multimodal LLMs
提出一种免训练、即插即用的少样本部件级指向方法,通过融合文本与视觉注意力图以及自监督视觉对应,可提升MLLM在细粒度空间定位任务上的表现,为视觉语言模型的空间理解提供可复用技术。
PointThinker:面向多模态大模型的点激励并行思维
PointThinker: Point-Incentivized Parallel Thinking for Multimodal Large Language Model
把「先列出多个视觉关键点、再以每个点为起点展开独立推理链」作为并行思维链的组织方式,并配合点级(dense)奖励的强化学习(GPPO)做自验证,可直接迁移到多模态推理、幻觉抑制等需要多路径推理的视觉语言任务中。
PointAlign:面向3D视觉语言模型的特征级对齐正则化
PointAlign: Feature-Level Alignment Regularization for 3D Vision-Language Models
提出一种特征级对齐正则化方法,通过一致性损失约束LLM中间点云token与视觉输入token对齐,仅训练轻量投影器和LoRA适配器,可复用于其他多模态大模型中以保留几何信息。
Pixel2Phys:从视觉动力学中蒸馏支配性物理定律
Pixel2Phys: Distilling Governing Laws from Visual Dynamics
把 MLLM 作为假设生成与验证的推理引擎,从原始视频像素中迭代提炼低维物理变量与可解释控制方程;对做视频理解与物理常识建模的研究者,这提供了一条「视觉观测→符号化动力学」的可复用管线,也可作为评估视频模型是否真正理解动力学的探针。
PixDLM:面向无人机推理分割的双路径多模态语言模型
PixDLM: A Dual-Path Multimodal Language Model for UAV Reasoning Segmentation
把思维链问答监督与像素级分割输出耦合进一个多模态语言模型,为高分辨率斜视无人机影像提供可复用的推理分割基线;其按空间、属性、场景三级组织语义需求的思路,可直接迁移到其他需要复杂推理的开放词表分割设定。
PhyCritic:面向物理 AI 的多模态评判模型
PhyCritic: Multimodal Critic Models for Physical AI
自参照评判(critic 先自行生成预测作为内部参照再打分)这一机制可直接迁移到视觉生成/编辑结果的自动评测与偏好数据筛选,为扩散模型或 VLM 的 RLHF/RLVR 提供更稳定的奖励信号。
基于短语视觉定位的自动偏好优化用于改进胸部X光报告生成
Phrase-grounded APO for Improving Chest X-ray Report Generation
提出一种无需真值偏好对的自动偏好优化方法,通过事实核查和LLM提示纠正生成代理偏好数据,并设计结合短语视觉定位损失的APO损失函数,可提升视觉语言模型在推理时的报告事实正确性。
面向图表识别的短语定位感知监督微调:基于侧路掩码注意力
Phrase-Grounding-Aware Supervised Fine-Tuning for Chart Recognition via Side-Masked Attention
把短语级视觉定位作为辅助监督信号插入 LLM 每一层 Transformer 的侧路掩码注意力中,为 VLM 微调提供区域级参考 logit;做文档/图表理解或需要细粒度区域对齐的 VLM 微调时可直接复用该侧路注意力设计。
基于注意力序列的个性化图像描述
Personalized Image Descriptions from Attention Sequences
把人类观看图像时的注意力序列作为个性化信号,通过辅助注意力预测任务学习主体嵌入,并用轻量适配器接入冻结的 VLM——这为视觉语言模型引入「感知行为」这一新条件维度提供了可复用范式。
PersonaVLM:长期个性化多模态大语言模型
PersonaVLM: Long-Term Personalized Multimodal LLMs
为视觉语言模型引入可检索的多模态长期记忆库与用户人格演化建模,可作为个性化 VLM 助手、多轮视觉对话与用户偏好对齐的可复用框架;其 Persona-MME 基准也可用于评测视觉对话中的长期个性化能力。
感知证据锚定的强化学习用于多模态推理
Perceptual-Evidence Anchored Reinforced Learning for Multimodal Reasoning
将视觉感知验证作为强化学习奖励的锚点,通过感知检查表生成辅助奖励来约束推理过程,可复用于任何需要提升视觉证据忠实度的VLM推理任务。
解析、搜索与确认:基于思维链推理与结构化空间记忆的免训练航拍视觉对话导航
Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory
把免训练 MLLM 的导航能力拆成「解析指令—搜索探索—确认验证」三段思维链,并配一个融合多尺度观测、视觉记忆与几何记忆的结构化空间记忆,可直接迁移到任何需要长时程空间推理的视觉语言任务(如视觉定位、具身导航)。
通过隐式模态分解实现多模态大模型的参数高效适配
Parameter-Efficient Adaptation for MLLMs via Implicit Modality Decomposition
把 LoRA 的可学习参数按模态拆成文本专属、非文本专属与模态共享三部分,并加解耦/对齐约束,可直接迁移到视觉-语言模型(如 LLaVA 类)的 PEFT 微调中,缓解文本模态主导更新、视觉表征学不充分的问题。
PanoEnv:在 panor 全景环境中用强化学习探索 3D 空间智能
PanoEnv: Exploring 3D Spatial Intelligence in Panoramic Environments with Reinforcement Learning
针对 ERP 全景图的几何畸变与 3D 监督缺失,给出了一套可复用的方案:用带真值引导奖励的 GRPO 后训练,配合两阶段课程(先结构化任务、后开放式数据),把 3D 空间推理能力注入 VLM;做全景/全向感知或想给 VLM 补几何推理的可以直接借鉴这套奖励设计与课程安排。
PP-OCRv5:一个 500 万参数的专用模型在 OCR 任务上媲美十亿参数视觉语言模型
PP-OCRv5: A Specialized 5M-Parameter Model Rivaling Billion-Parameter Vision-Language Models on OCR Tasks
对做视觉研究的人而言,这篇论文给出了一个可复用的结论:在 OCR 这类结构化文本任务上,用数据难度、标注准确度、数据多样性三个维度做数据筛选与配比,可以让 5M 参数的两阶段检测+识别流水线逼近十亿参数 VLM,同时定位更准、幻觉更少;做 VLM 文本定位或幻觉抑制时,可把数据侧优化作为对照基线。
POINTS-Long:多模态大模型中的自适应双模式视觉推理
POINTS-Long: Adaptive Dual-Mode Visual Reasoning in MLLMs
对做长视频/流式多模态理解的视觉研究者,这篇提供了可动态缩放的视觉词元方案:focus/standby 双模式在推理时按需在精度与效率间切换,配合可动态分离的 KV-cache 维持超长视觉记忆,可直接借鉴到视觉编码器到 LLM 的词元预算分配与流式记忆管理环节。
POGA:用于细粒度跨模态检索的释义与对立图对齐
POGA: Paraphrased and Oppositional Graph Alignment for Fine-Grained Cross-Modal Retrieval
POGA 将图像和文本解析为结构化图,并通过多源图增强生成释义正例和对抗负例,为跨模态细粒度对齐提供丰富的监督信号;其混合多粒度对齐目标(全局、节点、关系、焦点反驳)可复用于任何需要细粒度图文匹配的视觉语言任务。
PDCR:面向视觉语言推理的感知分解置信度奖励
PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning
对做 VLM 推理训练的人,这篇给出了一个可直接复用的奖励塑形思路:用模型内部的 Visual Dependence Score 把推理链中的视觉感知步与文本推理步分开,再在各自簇内归一化置信度增益,避免稀疏视觉步的信号被密集文本步淹没;该分解与归一化流程可迁移到任何带思维链的多模态强化学习训练中。
PAS:用于检测大型视觉语言模型中物体幻觉的预生成注意力分数
PAS: Prelim Attention Score for Detecting Object Hallucinations in Large Vision-Language Models
PAS 提供了一种无需额外前向传播、仅利用解码时对已生成 token 的注意力权重来实时检测物体幻觉的信号,可直接用于 LVLM 推理时的过滤与干预,也为分析 LVLM 的图像依赖程度提供了可复用的量化手段。
PAS:视频大语言模型时序编码的免训练稳定器
PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs
对做视频 LLM 的人,这是一个即插即用的推理期补丁:不改结构、不重训,只在各注意力头上加相反相位偏移再聚合,就能让多模态 RoPE 的时序核变平滑、注意力对帧时序抖动更稳;可直接套到任意用 3D RoPE 的视频 LLM 上提升时序鲁棒性。
OralGPT-Plus:通过强化学习学会使用视觉工具进行全景 X 光分析
OralGPT-Plus: Learning to Use Visual Tools via Reinforcement Learning for Panoramic X-ray Analysis
把「调用视觉工具做局部复查 + 对侧对称比较」建模成可学习的多步推理策略,并用 rubric 奖励与诊断驱动奖励稳定长程强化学习,这套 agentic 交互范式可迁移到任何需要细粒度空间核查的视觉语言模型任务(如病灶定位、遥感判读)。
OralGPT-Omni:一种多功能的牙科多模态大语言模型
OralGPT-Omni: A Versatile Dental Multimodal Large Language Model
构建了牙科领域的思维链数据集 TRACE-CoT 和统一多模态基准 MMOral-Uni,其四阶段训练范式可迁移到其他医学影像的 VLM 微调中,为领域专用 MLLM 的可靠性评估提供了可复用的数据构造与评测思路。
OraPO:面向数据高效与事实准确的放射学报告生成的 Oracle 教育强化学习
OraPO: Oracle-educated Reinforcement Learning for Data-efficient and Factual Radiology Report Generation
把 GRPO 探索失败的样本通过轻量 oracle 步骤转成直接偏好监督,配合基于原子临床事实蕴含检查的句级稠密奖励,为视觉语言模型在低数据预算下做单阶段 RL 训练提供了可复用范式。
OpenVision 2:面向多模态学习的一族生成式预训练视觉编码器
OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning
去掉文本编码器和对比损失、仅用captioning loss训练视觉编码器,可作为一种更省显存和时间的视觉表征预训练方案,直接用于多模态大模型的视觉塔初始化。
OpenMMReasoner:以开放通用方案推动多模态推理前沿
OpenMMReasoner: Pushing the Frontiers in Multimodal Reasoning with an Open and General Recipe
提供了一套透明可复现的多模态推理训练流程(SFT+RL),视觉研究者可直接复用其数据构建与训练设计来提升VLM的推理能力,或作为基线进行对比。
OneThinker:面向图像与视频的一体化推理模型
OneThinker: All-in-one Reasoning Model for Image and Video
把图像与视频的问答、描述、空间/时序定位、跟踪、分割统一进一个 MLLM,并用 EMA-GRPO 处理多任务 RL 的奖励异质性,为做统一视觉推理模型的人提供了可复用的多任务 RL 平衡策略与跨任务知识迁移证据。
OneCAT:面向统一理解与生成的纯解码器自回归模型
OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation
用模态专属 MoE 加统一自回归目标,在纯 decoder-only Transformer 内同时做理解、生成与编辑,推理时不再依赖 ViT 和视觉分词器,对高分辨率输入输出尤其省算力;scale-aware adapter 把多尺度视觉自回归塞进 LLM,给做统一多模态生成的人一条低延迟、可原生支持动态分辨率的替代路线。
一个Token,两种命运:通过视觉Token操控对抗多模态大模型幻觉的统一框架
One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination
对做多模态大模型幻觉的研究者,这篇给出了一个免训练、只在潜空间操作的视觉token双向用法:用增强图像的token强化视觉表征,用剪枝后的token构造潜空间负样本校正语言先验偏置,可直接插到LLaVA类模型的推理流程里,代价仅1.06倍延迟。
一个图像块描述所有:统一零样本描述框架
One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework
将图像描述从全局图像级转向以图像块为原子单元,利用DINO等骨干网络产生的密集视觉特征,无需区域级监督即可实现任意区域(包括非连续区域)的零样本描述,为开放世界区域理解提供了可复用的范式。
论词元的困境:面向大型视觉语言模型持续学习的漂移感知词元分配动态混合专家
On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models
对做 LVLM 持续指令微调的人,这篇给出了 token 级诊断视角:用路由分数分布区分歧义/旧任务词元,并对它们施加定向正则,避免被新专家吸走;这套「漂移感知词元分配」可直接插到任何增量扩专家的 MoE-LVLM 上。
OmniVTG:面向开放世界视频时序定位的大规模数据集与训练范式
OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding
提出自校正思维链训练范式,让多模态大模型先预测再反思修正,可迁移到其他需要精确定位的视觉语言任务;同时发布大规模开放世界视频时序定位数据集,为后续研究提供基准。
OmniGround:面向真实复杂场景的综合时空视觉定位基准
OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios
STVG 被拆成「高层时序定位 + 细粒度时空传播」两阶段且免训练,可直接套用到现有多模态大模型上做视频目标定位,无需微调即可提升小目标与遮挡场景的 m_tIoU/m_vIoU。
Omni-MMSI:面向身份归属的社交交互理解
Omni-MMSI: Toward Identity-attributed Social Interaction Understanding
论文提出从原始音视频与语音中联合感知「谁说了什么、指向谁」的身份归属线索,并在此基础上做思维链社交推理;对视觉研究者而言,可复用其参与者级参考对构建方式与参考引导的多模态推理流程,用于需要身份绑定的多人视频理解任务。
OddGridBench:揭示多模态大语言模型缺乏细粒度视觉差异敏感性
OddGridBench: Exposing the Lack of Fine-Grained Visual Discrepancy Sensitivity in Multimodal Large Language Models
OddGridBench 用可控网格图把「细粒度视觉差异检测」拆成颜色/大小/旋转/位置等单属性变量,可直接用来诊断任意 MLLM 的低层感知短板;OddGrid-GRPO 的距离感知奖励 + 课程学习配方也可迁移到其他需要空间定位精度的视觉定位训练中。
OctoMed:面向最优多模态医学推理的数据配方
OctoMed: Data Recipes for State-of-the-Art Multimodal Medical Reasoning
对做医学 VLM 的人,这篇给出了可复用的 SFT 数据配方:用长度多样的结构化推理链做监督微调,模型就能在下游任务上自适应地决定推理长度,无需额外监督;可直接迁移到自建医学多模态推理模型的训练数据构造与配比设计上。
OSMO:开放词表自我情绪跟踪
OSMO: Open-vocabulary Self-eMOtion Tracking
OSIRIS 把用户个人情绪历史、当前表情与第一人称视觉观测一起作为多模态大模型的输入做时序推理,这种「历史状态 + 当前观测」的上下文建模方式可迁移到需要连续状态跟踪的视觉任务(如行为/事件跟踪、个性化助手);OSMO 的逐被试情绪时间线标注协议也为构建连续标签的多模态数据集提供参考。
OS-Oracle:跨平台 GUI 批评模型的综合框架
OS-Oracle: A Comprehensive Framework for Cross-Platform GUI Critic Models
为视觉语言模型在 GUI 环境中的动作评估提供了可扩展的数据合成流程和两阶段训练范式(SFT + CP-GRPO),可直接用于提升多模态智能体的长程任务可靠性。
ORION:面向通用 VLM 适配的正交文本编码
ORION: ORthonormal Text Encoding for Universal VLM AdaptatION
把文本编码器的类别原型当作可优化对象,用低秩适配加正交性损失在仅有类名的条件下重塑 CLIP 文本嵌入,可直接替换下游零样本/少样本/测试时自适应流程中的手工 prompt 原型,是一种即插即用的分类头改进手段。
ORD:面向泛化 3D 视觉定位的对象-关系解耦
ORD: Object-Relation Decoupling for Generalized 3D Visual Grounding
将目标-锚框关系显式解耦为几何与语义原语,并设计谓词解耦的跨模态对齐策略,可迁移到其他需要抑制实体名称语义捷径的视觉-语言任务(如指代分割、视觉定位)。
通过双向多视图提示词对齐实现噪声感知少样本学习
Noise-Aware Few-Shot Learning through Bi-directional Multi-View Prompt Alignment
把提示词微调从全局图文匹配推进到区域级 patch-to-prompt 对齐,并用非平衡最优传输抑制不可靠区域,为视觉语言模型在噪声监督下的少样本适配提供了可复用的对齐与样本筛选机制。
无需硬负样本:以概念为中心的学习在不损害对比模型零样本能力的前提下实现组合性
No Hard Negatives Required: Concept Centric Learning Leads to Compositionality without Degrading Zero-shot Capabilities of Contrastive Models
用无参数的跨模态注意力池化替代文本/图像编码器的全局池化,从图像中抽取概念级视觉嵌入,并与短概念化文本片段对齐;这套改动可直接插到 CLIP 类双塔模型上,在不增加推理成本的前提下提升组合性理解,同时不牺牲零样本与检索性能。
NeuroRule:通过可微规则归纳桥接视觉与逻辑
NeuroRule: Bridging Vision and Logic with Differentiable Rule Induction
将视觉特征映射为概率符号表示,并用可微规则学习引擎自动发现一阶逻辑规则,为关系预测提供透明解释;这种神经符号桥接思路可迁移到其他需要组合推理的视觉任务(如视觉问答、指代分割)。
Nano-EmoX:从感知到共情的多模态情感智能统一
Nano-EmoX: Unifying Multimodal Emotional Intelligence from Perception to Empathy
对做视觉研究的人而言,可复用点在于用异构适配器把面部编码器、融合编码器等全模态编码器输出投影进统一语言空间,并以课程式训练(先对齐快速感知、再引入思维链推理)让轻量语言模型同时处理多任务;这套「编码器+适配器+课程」的范式可直接迁移到面部表情、情感识别等视觉任务的多任务统一建模。
基于动态梯度引导的多模态持续指令微调
Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance
把灾难性遗忘重新表述为「旧任务梯度缺失」,并用当前参数与历史最优参数之间的方向向量来近似该梯度,这一思路可直接迁移到视觉语言模型的持续指令微调与多任务适配中,配合伯努利采样在稳定性与可塑性之间动态权衡。
MultiModalPFN:将先验数据拟合网络扩展到多模态表格学习
MultiModalPFN: Extending Prior-Data Fitted Networks for Multimodal Tabular Learning
把图像/文本编码器输出通过模态投影器(多头门控 MLP + 交叉注意力采样器)转成表格兼容 token,使 TabPFN 式先验数据拟合网络能直接吃视觉特征;做视觉+表格联合预测(如医学影像配临床指标)时可复用这套跨模态 token 对齐与注意力失衡缓解思路。
面向多模态社交交互的多说话人注意力对齐
Multi-speaker Attention Alignment for Multimodal Social Interaction
针对多说话人视频场景中视觉 token 与文本 token 缺乏说话人一致对齐的问题,提出无需训练参数、无需改架构的注意力偏置注入方案:先动态选出负责视觉 grounding 的注意力头,再用说话人位置与现有注意力图计算社交感知偏置,直接加进注意力机制。做视频 VLM、多模态 grounding 或注意力分析的工作可直接复用这套「检测头选择 + 位置先验偏置」的免训练增强思路。
Multi-SpatialMLLM:面向多模态大语言模型的多帧空间理解
Multi-SpatialMLLM: Multi-Frame Spatial Understanding with Multi-Modal Large Language Models
把深度、跨帧对应、动态感知等基础空间技能统一进 MLLM 训练,并用 2700 万级 3D/4D 数据管线与统一指标基准评测多帧空间推理,可直接复用于机器人多帧奖励标注与具身感知。
基于聚类的多度量表征学习策略用于细粒度多模态情感分析
Multi-Metric Representation Learning Strategy Based on Clustering for Fine-Grained Multimodal Sentiment Analysis
把多模态表征按情感类别聚类后,在全局与簇内局部两套度量下做投影与决策级融合,这一「聚类+多度量」思路可直接迁移到视觉-语言模型中的细粒度情感/意图判别与跨模态对齐。
MuKV:面向长流式视频问答的多粒度 KV 缓存压缩
MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering
对做长视频多模态理解的人,这篇给出了一个可直接复用的 KV 缓存压缩思路:在 patch、帧、片段三个粒度上保留视觉词元,并用自注意力与频率双信号筛选词元,再配合半分层检索取回相关缓存,从而在有限显存下支撑长流式视频问答。
MuCo:面向多模态嵌入模型的多轮对比学习
MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model
MuCo 将多轮对话结构引入对比学习,在单次前向中处理多个相关查询-目标对,可复用于视觉-语言检索模型的训练效率提升与嵌入一致性增强。
MotionEnhancer:利用视频扩散模型增强视觉语言模型的运动理解能力
MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models
把视频扩散模型内部对动态运动敏感的注意力当作先验,通过注意力对齐蒸馏进 VLM,且完全免训练、免改结构——做视频 VLM 的人可以直接复用这套「从生成模型借运动先验」的思路来补细粒度运动理解。
超越简单相加:面向恶劣全景场景的全景-语言模型
More than the Sum: Panorama-Language Models for Adverse Omni-Scenes
提出即插即用的全景稀疏注意力模块,让已有的针孔式 VLM 无需重训练即可处理等距柱状全景图,为 360° 视觉语言推理提供了可复用的适配手段;PanoVQA 数据集则提供了遮挡与事故等恶劣全景场景下的评测基准。
MonoVLM:基于视觉语言模型的单目三维视觉定位
MonoVLM: Monocular 3D Visual Grounding with Vision Language Models
把 GRPO 强化学习引入 VLM 的三阶段渐进训练,让语言模型从二维定位逐步过渡到三维结构理解与完整 3D 边界框回归,为「用 VLM 做几何感知任务」提供了一条可复用的训练范式。
Monet:超越图像与语言的潜视觉空间推理
Monet: Reasoning in Latent Visual Space Beyond Image and Language
把中间推理步骤从文本 token 换成连续视觉嵌入,让 MLLM 在潜视觉空间里做多步推理,并给出 VLPO 把潜嵌入纳入策略梯度更新——做多模态推理、CoT 或 RL 微调的人可以直接复用这套三阶段蒸馏 SFT + 潜变量 RL 的训练配方。
Molmo2:面向视频理解与视觉定位的视觉语言模型开放权重与数据
Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding
Molmo2 提供了不依赖闭源 VLM 生成的视频/多图数据集与训练配方(packing 与 message-tree 编码、视觉 token 双向注意力、token 加权策略),并给出点驱动视觉定位与像素级跟踪的评测设定,可直接用于构建或评测具备指点和跟踪能力的视频语言模型。
建模跨视觉协同的统一大视觉模型
Modeling Cross-vision Synergy for Unified Large Vision Model
PolyV 的稀疏混合专家架构与动态模态路由器为视觉多模态统一模型提供了可复用的设计范式,其协同感知训练策略(模态特定预训练+知识蒸馏+对象/关系级对齐)可直接用于提升视觉模型在跨模态推理任务上的表现。
MoE-GRPO:在视觉语言模型中通过强化学习优化混合专家
MoE-GRPO: Optimizing Mixture-of-Experts via Reinforcement Learning in Vision-Language Models
把 MoE 视觉语言模型的专家路由从确定性 top-K 改成用 GRPO 学习的随机策略,并加入模态感知的路由引导;做多模态大模型推理或训练的人可以直接复用这套路由优化思路来缓解专家过拟合、提升专家利用率。
MoD-DPO:利用模态解耦偏好优化缓解全模态大模型中的跨模态幻觉
MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization
给做多模态大模型(尤其是视听/视觉-语言模型)的研究者提供了一种可复用的偏好优化正则化思路:通过对无关模态加扰动、对相关模态加敏感度约束,显式解耦模态间虚假关联,可直接迁移到视觉-语言模型的视觉定位与幻觉抑制训练中。
基于混合专家的特征解耦用于开放词表场景图生成
Mixture-of-Experts based Feature Decoupling for Open Vocabulary Scene Graph Generation
MoE-FD 通过门控网络自适应解耦物体与关系特征,并用迭代交叉注意力建模语义交互,可直接用于开放词表场景图生成中提升新类别判别力与图文对齐精度。
基于梯度自反思的多模态幻觉缓解
Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection
用一阶泰勒梯度估计每个视觉 token 与文本 token 对当前输出的贡献,从而在解码时抑制虚假视觉特征并重新平衡跨模态贡献;这是一种无需训练、无需辅助模型的推理期去幻觉手段,可直接套用到任意 MLLM 的解码环节。
挖掘以实例为中心的视觉语言上下文用于人-物交互检测
Mining Instance-Centric Vision-Language Contexts for Human-Object Interaction Detection
把 VLM 特征按实例内、实例间、全局三种粒度拆解并渐进融合到检测器实例特征上,这套「实例中心上下文挖掘」思路可直接迁移到任何需要细粒度关系推理的视觉任务(如场景图生成、指代理解)。
MiniCPM-V 4.5:通过架构、数据与训练配方打造高效多模态大模型
MiniCPM-V 4.5: Cooking Efficient MLLMs via Architecture, Data, and Training Recipe
3D-Resampler 对图像与视频做高度紧凑的视觉编码,配合混合强化学习在短/长推理模式间切换,为视觉侧提供了一条在 8B 规模下同时压低显存与推理耗时的可复用路线;其视频 token 压缩策略对做视频 MLLM 的效率优化尤其有参考价值。
警惕无源跨域少样本学习中的判别性陷阱
Mind the Discriminability Trap in Source-Free Cross-domain Few-shot Learning
揭示了 VLM 在无源跨域少样本微调中「视觉判别性越强反而越差」的捷径现象:交叉熵损失中的视觉学习项会绕过跨模态对齐,因此做 CLIP/SigLIP 下游适配时应显式扰动视觉分支并利用图文语义关系逐步恢复模态对齐,而不是一味增强视觉特征判别性。
模仿人类认知,掌握多图推理:一种增强视觉理解的元动作框架
Mimic Human Cognition, Master Multi-Image Reasoning: A Meta-Action Framework for Enhanced Visual Understanding
把多图/多帧推理拆成 Global/Focus/Hint/Think/Answer 五个元动作,并用检索式树采样构造冷启动轨迹、再用两阶段强化学习(多样性保持探索 + DAPO 退火利用)训练,可直接迁移到需要跨图跨帧聚合证据的视觉语言任务上。
MeteorPred:面向极端天气事件预测的气象多模态大模型与数据集
MeteorPred: A Meteorological Multimodal Large Model and Dataset for Severe Weather Event Prediction
把 4D 气象场(时间×气压层×空间)当作视觉式高维输入,用三个即插即用的自适应融合模块分别沿时序、垂直层、空间维度做动态特征提取与整合,这套「多维张量输入 + 分维融合」的接口设计可直接迁移到视频、多帧深度、气象/遥感等时空视觉任务的多模态大模型改造中。
Merge3D:通过联合2D-3D词元合并实现高效3D多模态大语言模型
Merge3D: Efficient 3D Multimodal LLMs via Joint 2D-3D Token Merging
提出一种几何感知的词元合并框架,利用2D注意力选择语义显著词元,并结合2D+3D混合相似度聚合空间邻域上下文,可在激进压缩下保留3D结构先验与帧间对应关系,为多视图3D场景理解中的视觉词元冗余问题提供可复用方案。
MedTVT-R1:赋能医学推理与诊断的多模态大语言模型
MedTVT-R1: A Multimodal LLM Empowering Medical Reasoning and Diagnosis
模态感知层对异构模态(影像、生理信号、文本)做自适应加权融合,配合 GRPO 强化微调与 Jaccard 奖励,可直接迁移到需要多源视觉证据联合推理的医学 VQA 与报告生成任务。
MedMO:面向医学图像的多模态大语言模型视觉定位与理解
MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images
MedMO 的多阶段训练配方(跨模态预训练对齐异构视觉编码器、多任务指令微调、带 GIoU 框级奖励的强化学习)为医学视觉-语言模型提供了可复用的训练范式,尤其其框级 GIoU 奖励可直接用于提升视觉定位任务的空间推理能力。
MedLoc-R1:面向基于 GRPO 的医学视觉定位的性能感知课程奖励调度
MedLoc-R1: Performance-Aware Curriculum Reward Scheduling for GRPO-Based Medical Visual Grounding
把 GRPO 的固定 IoU 奖励换成随模型能力逐步收紧的课程式奖励调度,可直接迁移到任何用 RL 做框级/区域级定位的视觉语言模型训练中,缓解小目标奖励稀疏导致的策略梯度消失。
MedKCO:通过知识驱动的认知编排进行医学视觉语言预训练
MedKCO: Medical Vision-Language Pretraining via Knowledge-Driven Cognitive Orchestration
把课程学习引入医学视觉语言预训练的数据排序与对比目标调度,提供了一种按诊断敏感性和类内代表性组织预训练数据、并用自步非对称对比损失缓解类间相似性干扰的可复用训练策略。
MedGRPO:面向异构医学视频理解的多任务强化学习
MedGRPO: Multi-Task Reinforcement Learning for Heterogeneous Medical Video Understanding
针对医学视频理解中多数据集奖励尺度不平衡导致RL训练崩溃的问题,提出跨数据集奖励归一化方法,将各数据集的中位性能映射到统一奖励值,使多任务强化学习稳定;同时引入医学LLM评判器从五个临床维度评估描述质量,为视觉-语言模型在专业领域的多任务RL微调提供可复用方案。
MedFG-VQA:面向轻量级医学视觉问答的低频记忆与图注意力
MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA
把 DCT 低频特征与可学习记忆库结合、再用图卷积聚合精炼交叉注意力输出的做法,可直接迁移到其他视觉-语言对齐任务(如 captioning、grounding)中做轻量化的多模态融合模块。
掩码教师与强化学生:面向视觉语言模型的蒸馏方法
Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
提出一种掩码渐进式强化学习蒸馏框架,通过逐步恢复教师模型容量和离线RL奖励机制,解决大模型到小模型蒸馏中的不稳定性问题,为视觉语言模型的高效压缩与部署提供可复用技术路径。
掩码至关重要:释放LLM的空间推理能力用于3D场景-语言理解
Masking Matters: Unlocking the Spatial Reasoning Capabilities of LLMs for 3D Scene-Language Understanding
提出一种无需修改架构和增加参数的注意力掩码策略(3D-SLIM),用几何密度和指令感知替代因果掩码,可直接用于任何基于LLM的3D视觉-语言模型,提升空间推理能力。
MarkushGrapher-2:端到端多模态化学结构识别
MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures
该工作将文本、图像与版面信息通过视觉-文本-版面编码器与光学化学结构识别视觉编码器联合编码,并采用两阶段训练策略融合,为文档图像中的多模态结构识别提供了可复用的编码与融合范式。
Mario:基于大语言模型的多模态图推理
Mario: Multimodal Graph Reasoning with Large Language Models
把图拓扑作为结构先验注入视觉-语言特征对齐,并用可学习路由器为每个节点挑选最有信息量的模态配置,这一「图条件化 VLM + 模态自适应路由」思路可迁移到视觉场景图、多模态知识图谱以及图文检索中的结构化对齐问题。
机器心理意象:以潜视觉 token 增强多模态推理
Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens
把 VLM 的隐藏状态直接当作「潜视觉 token」续写到解码轨迹里,替代显式生成图像来做视觉想象,为多模态推理提供了一条不依赖图像生成器的中间表示路径;其「先蒸馏图像嵌入、再纯文本监督、最后 RL 微调」的三段式训练流程可直接迁移到其他需要视觉中间步骤的 VLM 任务。
M^3KG-RAG:多跳多模态知识图谱增强的检索增强生成
M^3KG-RAG: Multi-hop Multimodal Knowledge Graph-enhanced Retrieval-Augmented Generation
对做多模态大模型视觉问答与视觉定位的研究者,这篇提供了可复用的思路:用多智能体流水线自动构建多跳多模态知识图谱,并用 GRASP 做实体视觉定位与相关性评估后剪枝冗余上下文,可直接迁移到视频/音视频问答的检索增强生成流程中,缓解仅靠嵌入相似度检索带来的离题噪声。
MVP:多视图预测提升 GUI 视觉定位
MVP: Multiple View Prediction Improves GUI Grounding
对做视觉定位/VLM 的研究者,MVP 提供了一种免训练的多视图推理与聚类集成策略:用指令到图像的注意力分数生成多样化裁剪视图,再对多视图坐标预测做最密空间簇质心聚合,可直接套用到任何坐标回归式 VLM 上以抑制单视图预测的不稳定性。
MTA:面向鸟瞰图感知与描述的多模态任务对齐
MTA: Multimodal Task Alignment for BEV Perception and Captioning
把 BEV 场景表征与真值语言表征做上下文对齐、并把检测输出与描述输出做跨模态提示对齐,是一种可在训练期插入、推理期零开销的多模态对齐插件,可直接迁移到其他 BEV 感知+语言生成联合框架中。
MSRL:通过多阶段强化学习扩展生成式多模态奖励建模
MSRL: Scaling Generative Multimodal Reward Modeling via Multi-Stage Reinforcement Learning
对做视觉生成与理解评测的人,这篇给出了一个可复用的思路:用大规模纯文本偏好数据先训练出可泛化的奖励推理能力,再经 caption 阶段和全多模态 RL 阶段迁移到视觉奖励模型,从而在缺少多模态偏好标注时也能扩展 MRM 训练;其中的跨模态蒸馏环节可直接用于提升视觉奖励模型的偏好泛化。
MSJoE:联合演化多模态大模型与采样器以实现高效长视频理解
MSJoE: Jointly Evolving MLLM and Sampler for Efficient Long-Form Video Understanding
把关键帧选择建模为可微/可强化学习的采样权重预测,并用 MLLM 推理出的查询与冻结 CLIP 的相似度矩阵作为采样依据,为长视频 VLM 提供了一套可联合训练、可复用的帧选择范式。
MRD:面向高分辨率图像理解的多分辨率检索-检测融合
MRD: Multi-resolution Retrieval-Detection Fusion for High-Resolution Image Understanding
把开放词表检测器当作定位先验,与多分辨率裁剪检索做免训练融合,为 MLLM 处理高分辨率图像提供了一条可直接套用的「检索+检测」双路增强管线,可迁移到任意现成 MLLM 上。
MR-RAG:面向医学视觉问答的多模态相关性感知检索增强生成
MR-RAG: Multimodal Relevance-Aware Retrieval-Augmented Generation for Medical Visual Question Answering
对做医学 VQA 或多模态 RAG 的研究者,这篇给出了一个可复用的双阶段思路:检索端用模态内与跨模态信号联合打分做文档对齐,生成端按融合后的相关性重加权注意力路径,可直接迁移到其他需要外部知识注入的视觉问答系统。
MOON2.0:面向电商商品理解的动态模态均衡多模态表征学习
MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding
模态驱动的混合专家按样本模态构成自适应路由,配合产品内图文双层对齐,可直接迁移到图文检索与商品表征学习;其图文协同增强与动态样本过滤为多模态训练数据清洗提供可复用流程。
MODIX:面向视觉语言模型的免训练多模态信息驱动位置索引缩放
MODIX: A Training-Free Multimodal Information-Driven Positional Index Scaling for Vision-Language Models
对做 VLM 推理与注意力分析的人,这篇给出了一个免训练、不改参数的位置索引重标定手段:用协方差熵衡量模态内信息密度、用跨模态对齐衡量模态间交互,据此缩放位置步长,可直接插到现有 VLM 的注意力计算前,用来缓解冗余视觉 token 抢占注意力的问题。
MMTIT-Bench:一个面向认知-感知-推理引导的文本图像机器翻译的多语言多场景基准
MMTIT-Bench: A Multilingual and Multi-Scenario Benchmark with Cognition-Perception-Reasoning Guided Text-Image Machine Translation
为视觉语言大模型在图像内文本翻译任务上提供了多语言、多场景的评测基准,并提出将场景认知、文本感知与翻译推理统一进思维链的数据范式,可直接迁移到其他需要视觉定位与语言生成联合推理的 VLLM 任务。
MM-SeR:面向轻量级图像描述的多模态自精炼
MM-SeR: Multimodal Self-Refinement for Lightweight Image Captioning
把 MLLM 的语言部分换成 125M 小模型后仍能保持事实性描述能力,这一发现提示视觉研究者:做图像描述时不必依赖大语言模型的复杂推理;其「先粗后细」的自精炼流程(用粗描述定位显著区域再重描述)可作为轻量 VLM 的通用解码策略复用。
MM-ReCoder:以强化学习与自纠正推进图表到代码生成
MM-ReCoder: Advancing Chart-to-Code Generation with Reinforcement Learning and Self-Correction
把可执行环境的反馈作为奖励信号,用两阶段多轮 GRPO 训练 MLLM 自我纠错,这一范式可直接迁移到视觉到代码类任务(如 UI 到代码、图表理解、视觉程序合成),也为视觉语言模型引入执行级验证提供了可复用训练流程。
MLLM-HWSI:面向层次化全切片图像理解的多模态大语言模型
MLLM-HWSI: A Multimodal Large Language Model for Hierarchical Whole Slide Image Understanding
将全切片图像分解为细胞、图像块、区域、WSI四个尺度,并用尺度特定投影器与层次对比+跨尺度一致性损失对齐病理语言,为视觉-语言模型提供可解释的多尺度证据推理框架,可迁移到其他需要多尺度理解的视觉领域。
MERLIN:构建面向电磁信号的低信噪比鲁棒多模态大语言模型
MERLIN: Building Low-SNR Robust Multimodal LLMs for Electromagnetic Signals
论文提出的低信噪比鲁棒训练框架与信号-文本对齐方法,可迁移到视觉-语言模型在噪声图像或低质量视觉信号下的鲁棒性增强,其构建的大规模信号-文本数据集与基准也为多模态预训练提供了新范式。
MAD:面向多模态大语言模型跨模态幻觉缓解的模态自适应解码
MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models
对做多模态大模型推理的人来说,这是一种免训练的解码期干预手段:用模型自评估得到的模态相关性概率去加权各模态的对比解码分支,可直接套用到任意音视频/视觉语言模型的推理流程中抑制跨模态幻觉,无需重训。
MA-Bench:迈向细粒度微动作理解
MA-Bench: Towards Fine-grained Micro-Action Understanding
为视觉研究者提供了一个针对细微人体动作的三层评测协议(感知/关系理解/解释推理)和 20.5K 结构化动作描述训练语料,可直接用于诊断和微调视频 MLLM 在细粒度身体部位动态上的短板。
M3Grounder:基于掩码的多跨度多粒度视觉定位用于文档问答
M3Grounder: Mask-Based Multi-Span and Multi-Granular Grounding for Document QA
将文档视觉定位从粗粒度边界框推进到像素级分割掩码,并引入多跨度、多粒度的层次化定位监督,为文档理解中的细粒度证据定位提供了可复用的分割式建模范式。
M3DocDep:基于大型视觉语言模型的多模态、多页、多文档依赖分块
M3DocDep: Multi-modal, Multi-page, Multi-document Dependency Chunking with Large Vision-Language Models
对做文档视觉理解的人,这篇给出了一个可复用的思路:把 OCR/版面解析结果统一到文档级坐标系,用边界感知的 SoftROI 做多模态块嵌入,再用 biaffine 打分重建跨页文档树——这套「视觉结构线索 + 全局依赖」的建模方式可直接迁移到多页文档检索、版面层级解析等任务。
用于大基础模型幻觉检测的李雅普诺夫探针
Lyapunov Probes for Hallucination Detection in Large Foundation Models
把 MLLM 的表征空间当作动力系统,用带导数稳定性约束的轻量探针在输入扰动下检测置信度是否单调衰减,从而区分事实稳定区与幻觉易发边界;这套扰动+稳定性探针可直接接到任意视觉语言模型的隐层特征上做幻觉判别。
爱屋及乌:重新思考标签在视觉上下文学习提示词检索中的作用
Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning
为视觉上下文学习中的提示词检索引入标签一致性约束,并设计图像-标签联合表示与查询自适应混合专家路由,可直接用于分割、检测等下游任务的提示词选择。
LookasideVLN:方向感知的空中视觉与语言导航
LookasideVLN: Direction-Aware Aerial Vision-and-Language Navigation
将自然语言中的方向线索(如“左转”“前方”)编码为图结构,并与多模态大语言模型对齐用于路径规划,为视觉语言导航提供了一种轻量且可解释的空间推理范式。
LongVideo-R1:面向低成本长视频理解的智能导航
LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding
把长视频问答建模为「由粗到细的主动片段导航」:用层级视觉摘要作为推理起点,让 MLLM 智能体逐步定位信息量最大的片段,并在信息足够时提前停止,从而在低算力预算下完成长视频理解;其两阶段 SFT+RL 训练与奖励设计可直接迁移到其他需要选择性采样的视觉-语言任务。
LongVT:通过原生工具调用激励“用长视频思考”
LongVT: Incentivizing "Thinking with Long Videos" via Native Tool Calling
将LMM固有的时序定位能力作为原生视频裁剪工具,实现全局到局部的迭代推理,为长视频理解提供可复用的智能体框架与数据构造流程。
LocateAnything3D:基于视线链的视觉语言 3D 检测
LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight
将 3D 检测转化为 VLM 的下一词元预测问题,通过显式的 Chain-of-Sight 序列(先 2D 检测再 3D 框)实现开放词表多目标 3D 检测,为视觉研究提供了一种无需专用检测头的统一 VLM 接口。
先定位后稀疏化:归因引导的稀疏策略用于视觉幻觉缓解
Locate-then-Sparsify: Attribution Guided Sparse Strategy for Visual Hallucination Mitigation
提出基于因果干预的逐层归因方法,量化各层与幻觉的相关性,并据此稀疏化特征引导强度;该思路可迁移到其他需要定位关键层或模块的视觉-语言任务中,如视觉定位、图像描述生成中的错误分析。
先定位再复核:基于区域定位推理提升AI生成图像检测
Locate-Then-Examine: Grounded Region Reasoning Improves Detection of AI-Generated Images
把VLM的取证判断显式绑定到局部区域证据上:先做可疑区域提议,再对裁剪块与全图联合重审,这种「定位-复核」两阶段范式可迁移到任何需要像素级依据的细粒度真伪/异常判别任务,如深伪检测、篡改定位。
关联多模态大语言模型中的感知、置信度与准确率
Linking Perception, Confidence and Accuracy in MLLMs
对做多模态大模型视觉感知的人来说,这篇给出了一个可复用的思路:用原图-加噪图配对构造置信度奖励做强化学习,让模型在视觉不确定时给出校准的置信度;校准后的置信度还能直接驱动测试时扩展(自一致性/自反思/视觉自检的调度),是一种无需重训即可提升准确率的推理期手段。
面向视觉解耦的语言先验:迈向对称的视觉-大脑对齐
Linguistic Priors for Visual Decoupling: Towards Symmetric Vision-Brain Alignment
用面向物体的文本描述作为语义先验,把自然图像中的前景物体与背景显式解耦,再与含噪脑信号做语义对称对齐;这套「语言先验引导的视觉解耦」思路可迁移到图像-文本-神经信号三模态对齐、以及需要抑制背景干扰的跨模态检索任务。
让VLM给自己的思维打分:一种面向推理感知奖励建模的自量化方法
Let VLMs Grade Their Own Thoughts: A Self-Quantification Approach to Reasoning-Aware Reward Modeling
提出利用VLM自生成置信度作为奖励信号,替代外部约束进行强化学习对齐,为视觉语言模型的推理优化提供了无需人工标注的奖励建模思路,可迁移至其他多模态推理任务。
Lenses:迈向多义视觉-语言理解
Lenses: Toward Polysemous Vision-Language Understanding
把「图像多义性」显式建模为可学习的 lens token 加多提示嵌入,并用 lens-masking 相似度做检索,为视觉-语言检索/描述任务提供了一个可复用的多视角对齐范式,也提示现有 VLM 评测存在字面语义偏置。
LensWalk:通过规划视频观看方式实现智能体式视频理解
LensWalk: Agentic Video Understanding by Planning How You See in Videos
把「看哪里、看多密」变成智能体可调的工具参数,视觉研究者可借鉴这种按需采样+工具编排的推理范式,用于长视频问答与证据定位,无需微调即可插拔到现有 VLM 配方上。
从经验中学习选择视觉工具
Learning to Select Visual Tools from Experience
VisTA 将工具选择建模为强化学习问题,利用可验证奖励(RLVR)端到端训练视觉智能体,使其能根据查询动态组合工具库中的工具。对视觉研究者而言,这提供了一种无需人工标注的、经验驱动的工具编排范式,可迁移到需要多工具协同的复杂视觉推理任务(如图表理解、几何推理)。
在多模态大语言模型中用事件流学习看穿极端光照
Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models
把事件流作为与 RGB 互补的模态接入 MLLM,并用 DINOv2 分支导出的可学习光照指示信号自适应调制融合权重,同时用潜空间对齐损失把退化特征拉回正常光照语义——这套「退化感知的模态门控 + 潜空间语义对齐」可直接迁移到低光、过曝、夜间等视觉任务的特征融合设计中。
在 4D 中学习推理:面向视觉语言模型的动态空间理解
Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models
把相机位姿、局部点云、物体掩码与 3D 轨迹等 4D 重建先验压缩成少量 geometry tokens 注入 VLM,为在视觉语言模型中引入几何先验提供了一条轻量、可复用的接口思路。
学会聚焦与精确裁剪:面向多模态大语言模型的信息差与视觉定位损失强化学习框架
Learning to Focus and Precise Cropping:A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs
针对多模态大模型在裁剪区域上「看了却没用」的问题,用信息差机制(降低全局图粒度以制造信息增益)配合少量边界框的 grounding loss 做两阶段强化学习,可复用于任何需要模型真正依赖局部细节的高分辨率 VQA / 细粒度感知流程。
学习多样化与聚焦:面向开放词表人-物交互检测的强化学习框架
Learning to Diversify and Focus: A Reinforcement Framework for Open-Vocabulary HOI Detection
用强化学习驱动的语义扰动与 actor-critic 注意力精炼,缓解 CLIP 一阶段范式对已见交互的过拟合,可直接迁移到其他开放词表检测/grounding 任务中提升对未见类别的泛化与细粒度定位。
从条目化文本监督中学习完整且可解释的视觉表征
Learning complete and explainable visual representations from itemized text supervision
针对单图多条目文本(如医学影像的多处独立发现)的监督,用交叉注意力生成条目条件化的视觉嵌入,并设计条目独立性与覆盖完整性目标,可复用于非物体中心领域的视觉-语言预训练与细粒度定位式解释。
学习重要内容:基于相对误差驱动样本选择的优先概念学习
Learning What Matters: Prioritized Concept Learning via Relative Error-driven Sample Selection
为视觉语言模型指令微调提供一种无需额外标注与辅助模型的数据选择机制:按技能维度追踪学习进度,优先采样「尚未掌握且难度适中」的样本,可直接用于构建更省数据、省算力的 VLM 微调流程。
学习什么有帮助:面向视觉任务的任务对齐上下文选择
Learning What Helps: Task-Aligned Context Selection for Vision Tasks
TACS 将检索选择器与任务模型联合训练,用任务奖励而非相似度来挑选上下文示例,为视觉任务中的检索增强提供了一种可复用的训练范式,尤其适用于数据有限或细粒度识别场景。
通过合成视频学习可迁移的时序基元用于视频推理
Learning Transferable Temporal Primitives for Video Reasoning via Synthetic Videos
该工作表明,用程序化生成的合成视频(简单几何形状)训练 VLM 的时序基元(方向、速度、状态跟踪),能有效迁移到真实视频理解任务,为视频后训练提供了一条低成本、可扩展的数据构造路径。
从跨视图关系学习多视图空间推理
Learning Multi-View Spatial Reasoning from Cross-View Relations
XVR 提供了跨视图对应、关系验证与目标定位三类 VQA 监督信号,可直接用于微调 VLM 以增强多视图空间表征;其数据构造方式(从 3D 场景与机器人轨迹自动生成问答)也可复用于构建其他具身空间推理训练集。
隐式视觉推理
Latent Implicit Visual Reasoning
提出一种任务无关的隐式视觉推理 token 机制:让 LMM 在无显式中间监督下自行发现并重编码图像,可迁移到任何需要视觉中间步骤的多模态推理任务,替代依赖深度图、裁剪图等人工先验的做法。
面向大型视觉语言模型的语言引导频率调制
Language-guided Frequency Modulation for Large Vision-Language Models
在视觉 token 送入 LLM 之前,用语言引导在频域上对视觉特征做高通/低通分解与选择性增强,为视觉侧提供了一种无需额外训练参数、可插拔的细粒度表征调控手段,可直接迁移到任意 LVLM 的视觉编码器-投影器链路上。
语言驱动的细粒度检索
Language-driven Fine-grained Retrieval
用 LLM 把类别名扩写成属性描述、再用冻结 VLM 对齐并聚类成数据集级属性词表,从而把 one-hot 标签换成语言原型监督——这套「语言原型监督」流程可直接迁移到细粒度分类、开放词表检索、组合零样本等需要跨类别细节可比性的视觉任务。
语言在跨域少样本视觉特征增强中至关重要
Language Does Matter for Cross-Domain Few-Shot Visual Feature Enhancement
该论文提出用图像描述模型和LLM分别提取图像级与域级语言属性,并通过轻量残差交叉注意力将语言描述嵌入视觉特征,以增强跨域少样本场景下的视觉特征泛化能力。这一思路可复用于任何需要提升预训练视觉特征跨域迁移性的视觉任务,如分类、分割和检测。
LOREAL:以属性驱动提示自蒸馏缓解视觉语言模型的低分辨率挑战
LOREAL: Mitigating Low-Resolution Challenges in Vision-Language Models with Attribute-driven Prompt Self-Distillation
针对边缘设备低分辨率输入(<224×224、token 数减少)下 CLIP 类 VLM 的性能退化,提出双学生提示自蒸馏框架,用 LLM 查询的分辨率不变属性语义与跨模态元网络在低层/高层做跨分辨率蒸馏,可直接迁移到任何需要分辨率鲁棒性的提示学习或参数高效微调流程中。
LLaMo:以连续自回归 token 扩展预训练语言模型实现统一的动作理解与生成
LLaMo: Scaling Pretrained Language Models for Unified Motion Understanding and Generation with Continuous Autoregressive Tokens
把人体动作编码进因果连续潜空间、用轻量 flow-matching 头在 decoder-only 骨干上保留下一 token 预测,从而绕开离散量化的抖动并实现 30FPS 流式生成——这套「连续 token + MoT 隔离模态」的做法可直接迁移到视频/动作序列的视觉-语言统一建模。
LLaDA-V:带视觉指令微调的大语言扩散模型
LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning
把自回归解码换成掩码扩散式解码,并利用双向注意力建模视觉特征的空间关系,为视觉-语言模型提供了一条非自回归的架构路线,可直接复用其视觉编码器+MLP连接器+扩散语言模型的组合范式。
LLaDA-MedV:探索用于生物医学图像理解的大语言扩散模型
LLaDA-MedV: Exploring Large Language Diffusion Models for Biomedical Image Understanding
将掩码扩散语言模型(LLaDA)通过视觉指令微调迁移到生物医学图像理解,为视觉-语言建模提供了一条非自回归的替代路径;其关于初始化权重选择、微调策略以及采样步数与响应重复之间权衡的分析,对任何尝试用扩散式语言模型做多模态生成的视觉研究者都有直接参考价值。
LLMind:受生物启发的免训练自适应视觉表征用于视觉语言模型
LLMind: Bio-inspired Training-free Adaptive Visual Representations for Vision-Language Models
在紧像素预算下,用莫比乌斯参数化的非均匀采样替代 VLM 的均匀视觉编码,并通过测试时自适应的闭环语义反馈把采样密度对齐到文本查询的显著区域;这套即插即用的前端可直接复用于任何冻结 VLM 的高分辨率或长视频输入压缩。
LLM 引导的概率融合用于标签高效的文档版面分析
LLM-Guided Probabilistic Fusion for Label-Efficient Document Layout Analysis
把 OCR-LLM 推断出的层级版面结构当作结构化先验,与教师检测器的视觉预测做逆方差概率融合来生成伪标签,并用实例自适应门控替代固定权重;做半监督检测或需要引入外部语言模型先验来提升伪标签质量时可直接复用这套融合与门控机制。
保持 SymPL:面向视觉语言模型异中心空间推理的符号投影布局
Keep it SymPL: Symbolic Projective Layout for Allocentric Spatial Reasoning in Vision-Language Models
把异中心(物体中心)视角的空间问题转成符号化布局表示再交给 VLM,这个「投影+抽象+二分+定位」的重构思路可直接用于提升 VLM 在三维场景理解、多视图问答和视角变换类任务上的表现。
KVSmooth:通过键值平滑缓解多模态大语言模型中的幻觉
KVSmooth: Mitigating Hallucination in Multi-modal Large Language Models through Key-Value Smoothing
提出一种免训练、即插即用的推理时方法,通过对 KV-Cache 中的键和值施加指数移动平均(EMA)平滑,并利用注意力熵动态调节平滑强度,来缓解多模态大语言模型在解码过程中的语义漂移和幻觉。该方法可直接集成到现有 MLLM 的推理流程中,无需重新训练或修改模型结构,为视觉-语言生成任务提供了一种高效的后处理手段。
JoPPO:基于对比联合条件概率强化学习的分层摄影评估
JoPPO: Hierarchical Photography Assessment via Contrastive Joint Conditional Probabilistic Reinforcement Learning
把 VLM 当作评分器时,用基于批内细粒度属性分数条件分布的期望胜率作为奖励,替代 GRPO 的标量奖励,可直接迁移到任何需要多属性组合排序的视觉评测任务(美学、生成质量、偏好对齐)。
IsoCLIP:分解 CLIP 投影器以实现高效的模态内对齐
IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment
对做视觉检索或复用 CLIP 图像编码器的人,这篇给出了一个免训练的后处理:从 projector 权重里用谱分析取出跨模态对齐的各向同性子空间,丢掉模态特有的各向异性方向,就能直接提升 image-to-image 检索并降低延迟,可作为一个即插即用的特征变换。
你的 VLM 准备好飞向天空了吗?面向无人机导航的综合空间智能基准
Is your VLM Sky-Ready? A Comprehensive Spatial Intelligence Benchmark for UAV Navigation
为视觉研究者提供了一个面向无人机视角的空间智能评测基准(13 个子类,覆盖包围框、距离、高度、降落安全等),并给出可复用的 SpatialSky-Dataset 与 Sky-VLM 训练范式,可用于诊断和提升 VLM 的细粒度空间推理能力。
模态鸿沟是缺陷还是特性?一个鲁棒性视角
Is the Modality Gap a Bug or a Feature? A Robustness Perspective
对做视觉-语言对齐(CLIP 类)的研究者,这篇给出了一个可直接复用的后处理手段:把图像嵌入整体平移到文本嵌入均值方向,即可在不损失干净精度的前提下提升对语义无关扰动的稳定性;同时提供了「对比损失最优解必然产生正交全局鸿沟向量」的理论视角,可用于分析嵌入空间几何与鲁棒性的关系。
可解释的跨域少样本学习与校正目标域局部对齐
Interpretable Cross-Domain Few-Shot Learning with Rectified Target-Domain Local Alignment
针对CLIP在跨域少样本场景下局部视觉-文本对齐失效的问题,提出基于循环一致性的自监督对齐方法,并引入语义锚框机制过滤噪声,可提升医学等细粒度领域的可解释识别性能。
InstAP:面向时空理解的实例感知视觉-语言预训练
InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding
提出实例级对比对齐目标,将文本提及定位到时空区域,可复用于需要细粒度视觉-语言对齐的任务(如指代分割、视频实例检索),并证明实例级预训练能提升全局零样本视频理解。
面向多模态交互学习的信息论分解
Information-Theoretic Decomposition for Multimodal Interaction Learning
为视觉-语言等多模态模型提供逐样本自适应的交互分解思路:用变分分解把冗余、独特、协同信息显式拆开,再在微调阶段分别利用,可直接迁移到 VLM 的多模态融合模块或跨模态对齐训练中。
通过数据高效强化学习激发多模态大模型的多功能视频推理能力
Incentivizing Versatile Video Reasoning in MLLMs via Data-Efficient Reinforcement Learning
对做视频多模态大模型的人,这篇给出了用多任务冷启动加多任务强化学习、再配合推理阶段多模态推理与动态采样的低成本训练配方,仅用 3k 冷启动数据与 5k RL 数据即可显著提升视频推理表现,可作为替代高成本长链语言 RL 的可复用方案。
以感知为中心的过程奖励模型改进视觉语言模型
Improving Vision-language Models with Perception-centric Process Reward Models
提供了一种可复用的过程奖励模型思路:把 VLM 回答拆成与图像相关的断言,逐条与视觉证据比对以定位感知幻觉片段,并将该信号转为 token 级优势用于 RL 训练或推理时的截断重生成,可直接用于缓解视觉幻觉与提升多模态推理。
通过无数据平坦性感知提示词预训练改进视觉语言模型测试时提示词调优中的校准
Improving Calibration in Test-Time Prompt Tuning for Vision-Language Models via Data-Free Flatness-Aware Prompt Pretraining
提出一种无数据预训练方法,在测试时提示词调优前将提示词初始化到损失景观的平坦区域,从而同时提升视觉语言模型的校准性和性能,且不增加测试时计算开销。
先想象后聚焦:扩散引导的寄存器增强部分相关视频检索
Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retrieval
用文本监督的截断扩散模型从视频分布中生成全局语义寄存器,再经寄存器增强的高斯注意力与视频 token 融合,可作为跨模态检索中缓解局部噪声与查询歧义的通用特征增强模块。
照亮通用多模态嵌入中的视觉身份
Illuminating Visual Identity in Universal Multimodal Embeddings
提出身份感知采样机制,在通用多模态嵌入中联合优化视觉身份表示,可直接用于实例检索、重识别和生成内容身份保持等视觉任务。
INSIGHT基准:面向机器人操作的场景内引导视觉定位
INSIGHT Bench: Towards Grounded IN-SItu Guidance for Robotic ManipulaTion
论文提出的“in-situ guide grounding”任务要求视觉语言动作模型(VLA)理解物体上的文字和符号(如“PULL”),这为视觉定位研究提供了新的场景和评测基准;其可扩展的仿真框架和程序化生成方法可用于训练和评估模型对物体中心信息的理解能力。
IMAIA:面向旅行规划与地理空间智能的交互式地图 AI 助手
IMAIA: Interactive Maps AI Assistant for Travel Planning and Geo-Spatial Intelligence
把相机图像与位置、朝向等地理信号融合做第一人称场景理解与地点属性关联,为视觉语言模型在户外实景定位与导航问答中提供了一个可替换后端的模块化接口设计思路。
IF-Bench:面向红外图像的多模态大模型基准评测与生成式视觉提示增强
IF-Bench: Benchmarking and Enhancing MLLMs for Infrared Images with Generative Visual Prompting
提出免训练的生成式视觉提示方法,利用图像编辑模型将红外图像转换为语义和空间对齐的RGB图像,以缓解域分布偏移,可复用于其他跨域视觉-语言任务。
用于医学视觉语言模型交叉公平性的双曲关系提示词
Hyperbolic Relational Prompts for Intersectional Fairness in Medical VLMs
把提示词生成建模为在双曲空间中基于样本级关系图的推理过程,为视觉语言模型提供了一种可复用的条件化手段,可用于处理交叉属性组合(如种族×性别)下的细粒度偏差;做提示词微调或多属性可控生成时,可借鉴其双曲图层的层级建模思路。
用于多模态对齐的双曲 Gramian 体积
Hyperbolic Gramian Volumes for Multimodal Alignment
把多模态对齐中的 Gramian 体积从欧氏空间搬到洛伦兹双曲模型,并用可学习混合保留欧氏判别性,可直接替换视频-文本对比学习中的相似度/对齐损失,提升零样本跨类别判别与语义敏感度。
面向视觉语言模型的混合词元压缩
Hybrid Token Compression for Vision-Language Models
提出双通道(连续 ViT 图像块 + 离散 MGVQ 语义锚点)视觉词元压缩方案,用解耦注意力掩码与 <voco> 瓶颈把 580 个视觉词元压成 1 个,可直接用于降低任意 VLM 的视觉上下文长度与显存开销。
通过理解与求解推理循环实现类人抽象视觉推理
Human-like Abstract Visual Reasoning via Understanding and Solving Reasoning Loop
把「理解模块—求解模块」的循环交互与基于一致性的自适应停止机制引入视觉推理,可作为在少样本图形规则归纳任务上替代一次性前向推理的可复用架构思路。
HulluEdit:单次前向的证据一致子空间编辑用于缓解大型视觉语言模型中的幻觉
HulluEdit: Single-Pass Evidence-Consistent Subspace Editing for Mitigating Hallucinations in Large Vision-Language Models
提出一种无需参考模型、单次前向的正交子空间编辑方法,将隐藏状态分解为视觉证据、冲突先验和残差不确定性三个正交子空间,仅对先验子空间进行编辑以抑制幻觉,同时数学上保证视觉成分不受影响。该技术可直接用于提升现有LVLM的可靠性,且推理高效。
拥抱视觉提示与分割令牌:多模态大语言模型中用于细粒度视觉理解的一致性学习
Hugging Visual Prompt and Segmentation Tokens: Consistency Learning for Fine-Grained Visual Understanding in MLLMs
该论文提出的一致性学习损失和两阶段训练框架,可复用于其他需要联合优化视觉提示与分割令牌的多模态任务,为细粒度视觉理解提供了一种通用的训练策略。
如何拍出令人难忘的照片?以可执行反馈赋能用户
How to Take a Memorable Picture? Empowering Users with Actionable Feedback
把 MLLM 的内部激活沿「由低到高记忆性」的教师轨迹做免训练引导,使其输出可执行的拍摄建议;这套 teacher-student steering 思路可直接迁移到其他需要让 VLM 给出可操作建议的视觉任务(如构图、光照、美学反馈)。
HoneyBee:面向视觉语言推理器的数据配方
HoneyBee: Data Recipes for Vision-Language Reasoners
论文系统研究了视觉语言推理数据集的构建策略,包括上下文来源、数据干预和维度扩展,并提出了测试时扩展方法,可直接用于构建高质量多模态推理训练数据。
Hilbert-Geo:以神经符号推理求解立体几何问题
Hilbert-Geo: Solving Solid Geometric Problems by Neural-Symbolic Reasoning
把几何图形解析成形式化谓词(CDL)再交给定理库做可验证推理,这条「视觉解析→符号推理」的流水线可直接迁移到图表理解、几何题求解等需要严格可验证输出的多模态任务上。
分层过程奖励模型是符号视觉学习器
Hierarchical Process Reward Models are Symbolic Vision Learners
用符号自编码器把图表解析成点/线/形状等结构化基元,并以分层过程奖励约束几何一致性,可替代 MLLM 的视觉编码器或直接为 LLM 提供可解释的符号解析输入,为几何/图表类视觉推理提供了一条非像素化的表征路径。
HiSpatial:在视觉语言模型中驯服分层 3D 空间理解
HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models
把度量尺度点图作为辅助输入注入 VLM,并用四级递进的空间 VQA 数据(约 5M 图像、45M 物体)做监督微调,是提升视觉语言模型 3D 空间理解的一条可复用数据与输入表征路线。
HiFICL:面向多模态任务的高保真上下文学习
HiFICL: High-Fidelity In-Context Learning for Multimodal Tasks
把 ICL 中示例的影响精确分解为注意力输出与上下文值的动态混合,并用可学习的虚拟键值对加低秩分解来替代「shift vector」近似,这给视觉-语言模型提供了一种免示例、低开销的任务适配手段,可直接嵌入 LMM 的注意力层做端到端训练。
启发式推理先验助力数据高效的指代目标检测
Heuristic-inspired Reasoning Priors Facilitate Data-Efficient Referring Object Detection
把由指代短语推导出的空间/语义启发式先验注入 DETR 式 grounding 流程的 proposal ranking、prediction fusion 与 Hungarian matching 三个环节,是一种模型无关、可直接复用的低数据量增强手段。
听见你在哪:用视觉与空间声音教大语言模型空间推理
Hear you are: Teaching LLMs Spatial Reasoning with Vision and Spatial Sound
把双耳空间音频作为额外输入通道接入大语言模型,为视觉问答提供声源方位线索;当语义对应缺失或存在多个语义匹配时,空间对齐可作为消歧依据,这一设定可直接迁移到机器人听觉定位、视频中的声源定位与多模态推理任务。
利用多模态大语言模型中的思维链推理进行人脸活体检测
Harnessing Chain-of-Thought Reasoning in Multimodal Large Language Models for Face Anti-Spoofing
将思维链视觉问答引入人脸活体检测,用 MLLM 的视觉-语言联合推理替代单一视觉模态判别,并给出可复用的 CoT VQA 数据集构建与渐进式训练策略,可直接迁移到其他需要细粒度真伪判别的视觉任务。
面向安全对齐多模态大模型的持续视觉指令微调中的和谐参数适配
Harmonious Parameter Adaptation in Continual Visual Instruction Tuning for Safety-Aligned MLLMs
对做多模态大模型持续指令微调的人,这篇给出了一个后训练框架:按参数对安全/任务的关注度做分区,再从平衡视角选择要保留的参数子集,并对更新施加正交约束,可直接迁移到视觉指令微调的增量学习场景以同时抑制任务遗忘与安全退化。
HandVQA:诊断并改进视觉语言模型中的手部细粒度空间推理
HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models
对手部细粒度空间推理感兴趣的视觉研究者,可以把 HandVQA 当作诊断工具:用 3D 手部数据集自动生成关节角度、距离、相对位置的多选题,检验 VLM 的几何理解;同时验证了 LoRA 微调后学到的 3D 空间知识能零样本迁移到手势识别与手物交互任务,为「用合成 VQA 注入几何先验」提供了可复用范式。
HUMORCHAIN:面向可解释多模态幽默生成的理论引导多阶段推理
HUMORCHAIN: Theory-Guided Multi-Stage Reasoning for Interpretable Multimodal Humor Generation
把幽默理论中的认知结构显式嵌入多阶段推理链,用于视觉到语言的生成;其「视觉语义解析→理论引导推理→判别器打分」的可解释链条可迁移到需要认知深度或风格化表达的图像描述与多模态生成任务。
HERO:面向开放词表视频时序句子定位的分层嵌入精炼
HERO: Hierarchical Embedding-Refinement for Open-Vocabulary Temporal Sentence Grounding in Videos
论文提出的开放词表时序句子定位任务和分层嵌入精炼框架,为视觉语言模型在词汇偏移下的泛化提供了可复用的评测基准和跨模态对齐方法,特别是语义引导的视觉过滤和对比掩码文本精炼技术,可直接用于视频-语言对齐任务。
HDR-VLM:面向 HDR 视频调色的视觉语言模型 HDR 域适配与偏好对齐质量评估
HDR-VLM: HDR-Domain Adaptation of VLMs and Preference-Aligned Quality Assessment for HDR Video Color Grading
把预训练 VLM 从 SDR 域迁移到 HDR 域的两阶段范式(HLG 统一编码 + 渐进适配 + 课程式奖励强化学习对齐人类偏好)可直接复用到其他「预训练模型域不匹配」的感知质量评估任务,其归因理由输出也为质量评估提供了可解释性接口。
HBridge:面向统一多模态理解与生成的异构专家 H 形桥接
HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation
HBridge 的非对称 H 形桥接结构只在中层共享注意力、浅层与深层解耦,为视觉研究者提供了一种可复用的异构专家融合范式:在保留 LLM 与扩散模型各自预训练先验的同时降低跨模态注意力的共享开销,可直接迁移到需要同时做视觉理解与图像生成的统一模型中。
HATS:面向 GUI 智能体的难度感知轨迹合成
HATS: Hardness-Aware Trajectory Synthesis for GUI Agents
对做 VLM 智能体数据的人来说,这篇给出了一个可复用的思路:用「语义歧义程度」作为难度信号来驱动轨迹采集,并用指令-执行一致性校验做闭环修复,可直接迁移到其他视觉-语言序列决策任务的数据构造中。
GroundingME:通过多维度评测揭示多模态大语言模型中的视觉定位差距
GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation
对做视觉定位/VLM 的研究者,这篇提供了四维诊断基准(判别、空间、受限、拒绝),可直接用来暴露模型在相似目标区分、复杂关系描述和不可定位查询上的失效模式;其测试时扩展(按思维轨迹选最优回答)与数据混合训练两种改进策略也可迁移到其他 grounding 模型的评测与微调流程。
为多模态大语言模型将一切定位到 token 中
Grounding Everything in Tokens for Multimodal Large Language Models
GETok 将二维空间定位转化为可学习的网格 token 与偏移 token 的序列预测,为 MLLM 在原生自回归框架下实现精确的 2D 视觉定位提供了可复用的 token 化方案,可直接用于指代检测、视觉定位等任务。
面向多模态大语言模型的接地思维链
Grounded Chain-of-Thought for Multimodal Large Language Models
提出 Grounded Chain-of-Thought 任务与 MM-GCoT 基准,要求 MLLM 在逐步推理中显式输出视觉线索的 grounding 坐标,并引入答案-定位一致性指标,可用于诊断和缓解多模态模型在视觉空间推理中的幻觉问题。
基于视觉定位的3D感知空间视觉语言建模
Grounded 3D-Aware Spatial Vision-Language Modeling
把「生成时插入区域 token」的隐式视觉定位与区域提示的单目 3D 框预测结合,可作为 VLM 空间推理的可复用范式:在解码过程中动态引用视觉证据,并用内参感知归一化与稠密几何监督把 2D 定位升级为 3D 推断。
GroundVTS:多模态大语言模型中的视觉词元采样用于视频时序定位
GroundVTS: Visual Token Sampling in Multimodal Large Language Models for Video Temporal Grounding
提出查询引导的视觉词元采样机制,在输入LLM前过滤冗余视觉词元,可复用于其他视频-语言任务(如视频问答、时刻检索)以提升时序建模效率。
引力驱动的语义对齐用于文本视频检索
Gravitation-Driven Semantic Alignment for Text Video Retrieval
把跨模态语义分布的对齐拆成「语义引力」(由不确定性导出的语义质量与语义距离)和「几何重叠」两个正交因子,并给出 O(D) 的闭式替代来避免难解的联合积分——做视频-文本检索或任何需要处理多对多语义歧义、区分难负样本的跨模态对齐任务时,这套概率分布匹配打分可以直接替换确定性嵌入的余弦相似度。
图到帧 RAG:面向免训练与可审计视频推理的视觉空间知识融合
Graph-to-Frame RAG: Visual-Space Knowledge Fusion for Training-Free and Auditable Video Reasoning
把外部知识渲染成单张「推理帧」拼进视频,让 LMM 在统一视觉域内做联合推理,为视觉问答/视频推理提供了一种免训练、可审计的知识注入接口,可直接替换文本或多样本检索增强的拼接方式。
Granulon:以自适应多粒度语义唤醒像素级视觉编码器,服务多模态大语言模型
Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM
用文本条件动态控制视觉编码器的抽象粒度,并通过粒度引导的池化与关系聚类生成紧凑视觉词元,为多模态大模型中的细粒度视觉理解提供可复用方案。
几何约束智能体用于空间推理
Geometrically-Constrained Agent for Spatial Reasoning
把 VLM 从「直接输出几何答案」改为「先形式化出参考系与目标约束、再在约束内调用几何工具」,这一免训练的约束式智能体范式可直接迁移到视觉空间问答、具身导航与 3D 场景理解中的几何推理管线。
Geoint-R1:以动态辅助构造形式化多模态几何推理
Geoint-R1: Formalizing Multimodal Geometric Reasoning with Dynamic Auxiliary Constructions
把几何图形理解与形式化证明(Lean4)结合,并显式生成辅助构造元素,为视觉推理模型提供了可验证的中间步骤监督信号;其基准与标注方式可用于评测多模态模型在图形-文本联合推理上的严谨性。
GeoViS:面向遥感视觉定位的地理空间奖励视觉搜索
GeoViS: Geospatially Rewarded Visual Search for Remote Sensing Visual Grounding
把视觉定位从单步预测改成树结构逐步搜索+奖励引导的推理过程,这个「搜索-推理」范式可以直接迁移到小目标、大场景的开放词表定位任务上,尤其是需要多跳空间关系推理的场景。
GeoTikzBridge:推进面向几何感知与推理的多模态代码生成
GeoTikzBridge: Advancing Multimodal Code Generation for Geometric Perception and Reasoning
通过生成 TikZ 代码作为中间表示来增强 MLLM 的细粒度几何感知,这种「代码即表示」的思路可迁移到需要精确几何输出的视觉任务(如场景图生成、CAD 重建),也可作为即插即用的推理模块提升几何问题求解。
GeoDiT:面向地理空间理解的基于扩散的视觉语言模型
GeoDiT: A Diffusion-based Vision-Language Model for Geospatial Understanding
把地理空间视觉语言生成从自回归序列解码换成扩散式并行精修,对做遥感 captioning、visual grounding 和多目标检测的人提供了一个可直接替换解码范式的思路,尤其适合需要结构化、对象级输出的场景。
GeoCoT:面向可靠遥感推理的流形视角方法
GeoCoT: Towards Reliable Remote Sensing Reasoning with Manifold Perspective
提出基于局部流形映射的稀疏专家路由机制,可复用于视觉语言模型的多任务适配,降低高维视觉token冗余;同时引入RSV-GRPO强化结构化推理训练,为遥感视觉语言模型提供可借鉴的优化策略。
GeoBridge:一种语义锚定的多视角基础模型,桥接图像与文本以实现地理定位
GeoBridge: A Semantic-Anchored Multi-View Foundation Model Bridging Images and Text for Geo-Localization
用文本描述作为语义锚点桥接无人机、街景全景与卫星多视角特征,实现双向跨视角匹配与语言到图像检索;其语义锚点对齐机制可迁移到任何需要跨视角/跨模态特征对齐的检索任务。
GeoAgent:借助强化地理特征学习在任意地点进行地理定位
GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics
把地理相似性奖励与一致性奖励引入强化学习训练,为视觉语言模型在细粒度地理定位任务上提供可复用的奖励设计与专家标注思维链数据构建思路。
生成、分析与精修:基于多模态大模型元推理的免训练声源定位
Generate, Analyze, and Refine: Training-Free Sound Source Localization via MLLM Meta-Reasoning
把 MLLM 的推理能力当作免训练的音视频一致性判别器:用开放集角色标注加锚框投票量化音视频一致性,再用自适应门控决定是否修正框,这套「生成-分析-精修」流程可直接迁移到其他需要跨模态验证的定位任务(如指代定位、开放词表检测的后处理)。
概念驱动的任意场景注视目标估计
Gaze Target Estimation Anywhere with Concepts
将自然语言或点提示作为条件输入,端到端地同时完成主体定位与注视目标热图预测,为视觉-语言模型在细粒度空间理解任务上提供了可复用的提示式范式。
GaussianVision:利用2D高斯泼溅从压缩图像表示实现视觉-语言对齐
GaussianVision: Vision-Language Alignment from Compressed Image Representations using 2D Gaussian Splatting
用2D高斯泼溅作为紧凑、空间自适应的视觉表示替代RGB像素,配合冻结的RGB Transformer骨干和轻量输入茎,可显著降低传输与词元开销,为视觉语言模型提供可复用的高效视觉前端。
GThinker:通过线索引导重思考迈向通用多模态推理
GThinker: Towards General Multimodal Reasoning via Cue-Guided Rethinking
提出「视觉惯性」问题并设计线索引导的重思考机制,可被视觉推理模型复用,用于缓解模型对初始视觉感知的过度自信,提升复杂视觉问答的可靠性。
GTR-Turbo:合并检查点竟是智能体 VLM 训练中的免费教师
GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training
对做多模态智能体 RL 的人,这篇给出一个免特权教师信号的方案:把 RL 训练过程中产生的多个 checkpoint 权重合并成一个「免费教师」,再用 SFT 或软 logit 蒸馏回灌到策略上,可直接替换 GTR/On-Policy Distillation 里对 GPT、Gemini 的调用,同时缓解熵坍缩。
GIFT:面向高效视频理解的全局不可替代性帧定位
GIFT: Global Irreplaceability Frame Targeting for Efficient Video Understanding
提出一种免训练的关键帧选择框架,用「定向多样性」把相关性与多样性统一成不可替代性分数,并配合预算感知的自适应迭代选帧;做视频 VLM 推理或长视频理解时,可直接把这一选帧策略插到现有 LLaVA-Video 类模型的输入前端,替代均匀采样。
GA-VLN:面向高效视觉语言导航的几何感知鸟瞰图表示
GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation
将RGB-D输入投影到鸟瞰图空间并融合3D基础模型先验,为MLLM提供紧凑且几何一致的空间表示,可复用于需要高效空间推理的视觉语言任务。
G-MIXER:基于测地线混合的隐式语义扩展与显式语义重排序用于零样本组合图像检索
G-MIXER: Geodesic Mixup-based Implicit Semantic Expansion and Explicit Semantic Re-ranking for Zero-Shot Composed Image Retrieval
对做视觉-语言检索的人,这篇给出了一个免训练范式:用测地线插值在参考图特征与文本特征之间按多个混合比例生成组合查询,从而显式建模查询的隐式语义并扩大候选多样性,再用 MLLM 生成的显式描述做重排序;这套「隐式扩展+显式重排」的两阶段思路可直接迁移到其他跨模态检索与组合式查询任务。
油量表:在大规模多模态模型中提前估计思维链长度
Fuel Gauge: Estimating Chain-of-Thought Length Ahead of Time in Large Multimodal Models
对做多模态大模型推理部署的人,这篇给出了一个在生成前预测思维链长度的隐变量信号,可直接用于预分配 KV cache 以缓解显存碎片,也可作为自适应推理长度控制(避免过思考/欠思考)的调度依据。
从像素到精确:利用图像级奖励增强手写数学表达式识别
From Pixel to Precision: Enhancing Handwritten Mathematical Expression Recognition with Image-Level Reward
将图像级视觉奖励(IMS)与GRPO结合,为视觉-语言模型提供更可靠的训练信号,可推广到其他需要渲染保真度的生成任务(如公式识别、图表生成)。
从面板到像素:面向生物医学科学文献的放大式视觉语言预训练
From Panel to Pixel: Zoom-In Vision-Language Pretraining from Biomedical Scientific Literature
把多面板科研图拆成 figure/panel/region 三级图文对,为视觉语言预训练提供细粒度、可复用的数据构造与多粒度目标统一思路,可直接迁移到任何含密集标注结构的图文语料(如说明书、海报、UI 截图)。
从直觉到探究:面向可泛化人脸反欺骗的工具增强推理多模态大模型框架
From Intuition to Investigation: A Tool-Augmented Reasoning MLLM Framework for Generalizable Face Anti-Spoofing
把外部视觉工具(如放大、局部裁剪等细粒度分析算子)接入 MLLM 的推理链,并用 GRPO 类强化学习让模型自主决定何时调用工具,这一「工具增强思维链」范式可直接迁移到需要细粒度视觉证据的检测/鉴伪任务。
从失败到反馈:组修正解锁目标级视觉定位中的困难案例
From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding
提出组修正优化范式,通过生成修正候选并量化改进来构造塑形信号,缓解GRPO在困难样本上奖励稀疏的问题,可复用于视觉语言模型的强化学习微调。
从探索到利用:面向噪声容忍 MLLM 训练的两阶段熵 RLVR 方法
From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training
对做 MLLM 后训练的人,这套「先熵最大化探索、后熵最小化利用」的 token 级熵调度可直接插到 GRPO 训练循环里,用来在标注噪声大的视觉问答/多模态推理数据上稳住组内奖励方差、避免过早收敛到错标。
从3D姿态到文本:基于生物力学的视觉-语言教练
From 3D Pose to Prose: Biomechanics-Grounded Vision-Language Coaching
将3D骨骼运动学与视觉外观通过交叉注意力融合,用于生成可解释的健身指导文本;其运动学约束建模和参数高效训练策略可迁移到其他需要细粒度动作理解的视觉-语言任务。
锻造动态记忆:面向通用医学基础模型的检索引导持续学习
Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models
将检索增强生成(RAG)与持续学习结合,通过动态知识蒸馏缓解多模态医学VLM在领域迁移中的灾难性遗忘,为视觉-语言模型的持续学习提供可复用框架。
跟随显著性:面向检索增强密集视频描述的有监督显著性
Follow the Saliency: Supervised Saliency for Retrieval-augmented Dense Video Captioning
把 DVC 真值直接转成二值标签训练帧级显著性/高光检测器,再用同一显著性分数同时驱动检索分段与解码器 Saliency Prompt,为视频-语言检索增强生成提供了一个无需额外标注的统一时序信号。
FocusUI:通过位置保持的视觉词元选择实现高效 UI 视觉定位
FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection
针对高分辨率截图词元冗余问题,提出指令条件化 patch 级监督与 PosPad 位置连续性保持的视觉词元选择方案,可直接迁移到任意高分辨率 VLM 的视觉编码压缩与定位任务中。
聚焦而非剪枝:为信息密集图像理解定位指令相关区域
Focus, Don't Prune: Identifying Instruction-Relevant Regions for Information-Rich Image Understanding
对做 LVLM 高效推理的人,这篇给出了「先用指令定位相关区域、再只对区域提细粒度特征」的两阶段视觉 token 削减范式,并附带 InfographicVQA/MultiPageDocVQA/SinglePageDocVQA 上的区域级真值标注,可直接用于训练或评测区域选择模块。
FluxMem:面向流式视频理解的自适应分层记忆
FluxMem: Adaptive Hierarchical Memory for Streaming Video Understanding
提出免训练的分层视觉词元压缩方法(TAS+SDC),通过自适应压缩率减少冗余视觉词元,可直接用于视频语言模型的高效推理,降低延迟和显存。
FlowComposer:面向组合零样本学习的可组合流
FlowComposer: Composable Flows for Compositional Zero-Shot Learning
把流匹配的速度场组合作为显式的嵌入空间融合算子,可替代 token 拼接/提示词调优来实现组合式概念构造,对做 VLM 下游组合推理与概念解耦的研究者是一个可直接插入基线的即插即用模块。
FlexiVideo:面向高效视频理解的变异感知时序动态建模
FlexiVideo: Variation-Aware Temporal Dynamics Modeling for Efficient Video Understanding
面向视频 MLLM 的视觉 token 冗余问题,提出按帧间差异自适应分段并动态调整时序编码窗口,可直接复用到任何视频 LLM 的视觉编码前端以降低 token 数;其「高动态帧对导致视觉混淆」的发现也提示做视频 token 合并/采样时需按运动强度而非固定间隔处理。
首词元 Logit 提升:缓解大型视觉语言模型中对象幻觉的视觉定位方法
First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models
FLB 是一种免训练的解码策略,通过复用首个生成词元的 logit 来抑制 LVLM 中的对象幻觉,可即插即用地应用于任何自回归视觉语言模型,且推理开销可忽略。
FireScope:以思维链预言机进行野火风险栅格预测
FireScope: Wildfire Risk Raster Prediction With a Chain-of-Thought Oracle
把 VLM 的思维链推理作为生成式空间预测的中间监督,用强化学习加视觉监督联合训练,让语言推理轨迹提升栅格生成的跨大陆泛化——这套「推理到生成」的范式可迁移到其他需要多源遥感输入与连续场输出的视觉任务。
以反事实对抗幻觉:扩散引导扰动用于抑制 LVLM 幻觉
Fighting Hallucinations with Counterfactuals: Diffusion-Guided Perturbations for LVLM Hallucination Suppression
用扩散模型编辑图像构造反事实样本,提取视觉诱发幻觉的低秩表征子空间,并在推理时把中间隐状态投影出该子空间——这套「反事实扰动+子空间投影」的免训练流程可直接迁移到其他多模态模型的忠实性修正与表征编辑研究。
FedMPT:视觉语言模型的联邦多标签提示微调
FedMPT: Federated Multi-Label Prompt Tuning of Vision-Language Models
在联邦场景下对 VLM 做多标签提示微调时,用 LLM 生成的条件提示与图像 patch 做最优传输来挖掘区域级语义,并用门控融合多条件预测,可缓解客户端异构数据导致的虚假标签共现过拟合;这套「条件提示 + 区域对齐」思路可迁移到其他需要细粒度多标签或开放词表的 VLM 适配任务。
FairLLaVA:面向大型视觉语言助手的美公平性感知参数高效微调
FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Assistants
把互信息最小化当作表示层正则项,配合低秩适配器做插件式微调,可在不改动 MLLM 主干的前提下压制视觉指令微调中的群体偏差;做医学影像报告生成或 VQA 时,这套「公平性正则 + LoRA」的组合可直接迁移到自己的多模态模型上。
FUSAR-GPT:面向 SAR 影像的时空特征嵌入与两阶段解耦视觉语言模型
FUSAR-GPT: A Spatiotemporal Feature-Embedded and Two-Stage Decoupled Visual Language Model for SAR Imagery
对做遥感/多模态的视觉研究者,可复用其「时空锚点」把多源时序特征注入视觉骨干网络以补偿 SAR 目标表征稀疏的思路,以及解耦知识注入与任务执行的两阶段 SFT 范式,可直接迁移到其他低质量或非 RGB 成像域的 VLM 适配。
FINER:多模态大语言模型在细粒度负查询下产生幻觉
FINER: MLLMs Hallucinate under Fine-grained Negative Queries
FINER 提供了针对细粒度负查询(多物体、多属性、多关系)的幻觉基准与 DPO 微调数据构造方式,可直接用于诊断和缓解自研 MLLM 在细粒度视觉判别上的幻觉,其负查询构造思路也可迁移到 captioning、VQA 的数据筛选与偏好对构建。
FALCON:视觉语言对齐中假负样本感知的对比负样本学习
FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment
针对视觉语言预训练中图文多对多对应导致的假负样本问题,提出用可学习的负样本挖掘调度器在 mini-batch 构建阶段为每个锚框实例动态选择合适难度的负样本;做图文检索、CLIP 类对齐训练的工作可以直接把这一负样本调度策略插到自己的对比损失里,替代固定的难负样本启发式。
揭示与评估 GUI 视觉定位中的幻觉
Exposing and Evaluating Hallucinations for GUI Grounding
把 GUI 视觉定位中的幻觉拆成「混淆幻觉」与「捏造幻觉」两类,并给出可复用的评测子集设计(解析子集 + 幻觉子集),可直接迁移到其他视觉定位任务上做失效模式诊断。
探索面向语言智能学习的视觉预训练
Exploring Visual Pretraining for Learning Language Intelligence
把文档图像当作语言模型的预训练语料,用掩码自回归目标让 LLM 从可见区域推断被遮挡区域的潜变量假设,为视觉研究者提供了一个可复用的思路:用视觉输入替代或补充文本语料来提升语言推理能力,并可用潜空间对齐分析跨模态表征。
面向意图识别的层次语义表示驱动的进化式多模态推理
Evolutionary Multimodal Reasoning via Hierarchical Semantic Representation for Intent Recognition
把多模态语义组织成 token 级、概念级、概念关系级三层表示,再用 CoT 提示注入 MLLM 做逐步推理,并借 MLLM 反馈在推理时迭代精炼表示——这套「层次语义 + 自进化提示」流程可直接迁移到视觉问答、视觉定位等需要多粒度视觉语义推理的任务。
EvoGraph-R1:面向智能体检索的自演化多模态知识超图
EvoGraph-R1: Self-Evolving Multimodal Knowledge Hypergraphs for Agentic Retrieval
把多模态知识图谱当作可被智能体动作(检索/扩展/编辑/终止)动态改写的环境,用 MDP 闭环驱动超图演化,为视觉问答中的多跳跨模态检索与可追溯推理提供了可复用的框架。
EvoComp:通过语义引导的进化标注为多模态大语言模型学习视觉词元压缩
EvoComp: Learning Visual Token Compression for Multimodal Large Language Models via Semantic-Guided Evolutionary Labeling
为 MLLM 的视觉词元压缩提供了一套可复用的监督信号构造范式:用进化搜索在输出损失最小化目标下自动标注应保留的词元子集,再以轻量 encoder-only 压缩器学习该选择策略,可直接迁移到高分辨率、多图或视频输入下的视觉词元剪枝与加速。
Evo-Retriever:面向多模态文档检索的视角—路径协同 LLM 引导课程演化
Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval
面向视觉文档检索,提出多视角图像对齐与双向对比学习构造难负例,并用 LLM 元控制器按模型状态动态调整训练课程;做跨模态检索或图文匹配时,可借鉴其难例挖掘与课程调度思路来缓解跨模态嵌入混淆。
EventDrive:面向视觉-语言驾驶智能的事件相机
EventDrive: Event Cameras for Vision-Language Driving Intelligence
将事件相机异步流与RGB帧通过多尺度事件金字塔和模态路由混合专家融合,为视觉语言模型提供高时序精度和运动感知,可借鉴到需要低延迟、高动态范围的多模态推理任务中。
EthoCLIP:本体增强的视频-语言预训练用于动物行为理解
EthoCLIP: Ontology-Enhanced Video-Language Pretraining for Animal Behavior Understanding
将结构化领域本体(NBO)作为归纳偏置注入视觉-语言对比学习,通过本体感知图模块建模行为层级关系,为数据稀缺的细粒度视频理解提供可复用的语义增强预训练范式。
先构想、再关注、后回应:大型视觉语言模型中的反事实幻觉缓解
Envision, Attend, Then Respond: Counterfactual Hallucination Mitigation in Large Vision-Language Models
提出一种免训练框架,利用扩散先验生成视觉印象并定位反事实元素,再通过对比解码抑制幻觉,可复用于提升LVLM在视觉证据与常识冲突时的鲁棒性。
增强视频视觉语言模型的海马体感知
Enhancing Video Vision Language Model with Hippocampal Sensing
提出跨模态预测感知范式与对比强化学习算法 VANAO,可借鉴用于视频-音频联合推理与选择性信息获取,提升视频 VLM 的推理效率与准确性。
为任意开源多模态大语言模型增强部件级点定位能力
Enhancing Part-Level Point Grounding for Any Open-Source MLLMs
提出一种冻结主干、仅靠中间层注意力合成文本条件查询并解码为点热图的插件式方案,可让任意开源 MLLM 获得部件级点定位能力,为细粒度机器人操作等任务提供可直接复用的适配模块。
利用视觉属性增强描述性图像标题以提升多模态感知
Enhancing Descriptive Captions with Visual Attributes for Multimodal Perception
把现成的视觉专家模型(深度、情绪、细粒度分类、HOI 检测)的输出作为属性注入 caption 生成流程,为 LMM 训练构造更细粒度的图文数据;做多模态数据合成或 caption 增强时可直接复用这套「专家模型拼装」思路。
先增强后平衡的模态协作框架用于鲁棒多模态情感分析
Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis
对做多模态融合的视觉研究者,这篇提供了处理「视觉/音频弱模态被文本主导」的可复用思路:用能量势建模各模态贡献并做隐式梯度重平衡,再用样本级可靠性估计自适应调融合权重,可直接迁移到视觉-语言融合、缺失模态鲁棒性等场景。
EmoThinker:通过结构化词元选择与思维链推理推进视觉-声学情感分析
EmoThinker: Advancing Visual-Acoustic Emotion Analysis via Structural Token Selection and Chain-of-Thought Reasoning
其结构化词元选择机制可迁移到任意视觉-语言任务中做显著区域筛选与背景上下文精炼,而构建的思维链标注范式为多模态推理数据构造提供了可复用模板。
通过宽基线匹配激发多模态大语言模型中的复杂空间推理
Eliciting Complex Spatial Reasoning in MLLMs through Wide-Baseline Matching
把宽基线匹配当作可验证奖励信号,用强化学习(DCRL)在无 CoT 监督下提升 MLLM 的几何与视角变化推理;其从 RGB-D 视频与 SfM 重建自动挖掘宽基线视图对的数据流水线,可直接复用于构建空间对应训练数据。
EgoProx:在认知层级上评估多模态大语言模型的自我中心三维邻近推理
EgoProx: Evaluating MLLMs on Egocentric 3D Proximity Reasoning Across a Cognitive Hierarchy
为视觉研究者提供了一个以自我中心视角评估 MLLM 三维邻近关系推理的基准与智能体式数据生成引擎,可用于诊断模型的空间知识是否被有效调用,并指导空间推理 VQA 的指令微调设计。
EgoMind:通过语言推理激活多模态大语言模型的空间认知
EgoMind: Activating Spatial Cognition through Linguistic Reasoning in MLLMs
提出一种无需3D几何先验的纯语言思维链框架,通过角色扮演描述构建跨帧语言场景图,并渐进式分析空间问题,为视觉语言模型中的空间推理提供了可复用的提示与训练策略。
EgoAVU:第一人称音视频理解
EgoAVU: Egocentric Audio-Visual Understanding
对做第一人称视频理解的人,这篇提供了可自动生成音视频叙述与问答的数据引擎,以及揭示 MLLM 视觉偏置的音视频基准;可直接用于构建音视频指令微调数据或诊断模型对音频线索的忽视。
Ego:视觉语言模型的嵌入引导个性化
Ego: Embedding-Guided Personalization of Vision-Language Models
利用 VLM 内部注意力提取代表目标概念的视觉 token 作为概念记忆,无需额外训练即可在测试图像中召回并描述个性化概念,为视觉语言模型的免训练个性化与概念绑定提供可复用思路。
面向第一人称视频个性化问答的自我指代 grounding
Ego-Grounding for Personalized Question-Answering in Egocentric Videos
为第一人称视觉语言模型提供了首个系统性的个性化问答基准 MyEgo,并揭示显式提供证据时模型短期提升、随时间衰减的现象,可直接用于设计带长程记忆与自我指代(ego-grounding)机制的第一人称视频问答模型与评测协议。
高效高保真的全模态检索
Efficient and High-Fidelity Omni Modality Retrieval
提出基于注意力的重采样模块将多模态编码器的长词元序列压缩为固定长度表示,并用 Attention Sliced Wasserstein Pooling 保留细粒度信息,可直接用于视觉-语言检索中降低 LLM 输入开销并提升嵌入保真度。
高效无编码器的基于傅里叶的 3D 大型多模态模型
Efficient Encoder-Free Fourier-based 3D Large Multimodal Model
用空间填充曲线序列化加 FFT 近似自注意力,替代重型 3D 编码器做全局上下文建模,并用傅里叶增强的低秩适配把频域交互注入 LLM,为视觉侧设计轻量 3D 词元化与无编码器多模态架构提供可复用范式。
EduDiag:面向大型多模态模型错误追踪与纠正的教育诊断推理基准
EduDiag: A Benchmark for Educational Diagnostic Reasoning with Error Tracing and Correction on Large Multimodal Models
该论文提出的教育诊断推理任务要求LMM从错误答案逆向重建错误推理链并生成纠正反馈,为多模态推理评估提供了新方向;其构建的8K错误推理链数据集和GRPO优化策略可复用于提升视觉语言模型的推理与纠错能力。
EagleVision:基于鸟瞰图视觉定位思维链的双阶段空间智能框架
EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence
提出基于鸟瞰图(BEV)的主动视角选择与空间思维链推理框架,可复用于需要多视角几何推理的视觉语言任务,如具身导航与三维场景理解。
EagleNet:面向文本-视频检索的能量感知细粒度关系学习网络
EagleNet: Energy-Aware Fine-Grained Relationship Learning Network for Text-Video Retrieval
用文本候选与帧构建文本-帧图来聚合出带帧上下文信息的增强文本嵌入,并用能量匹配建模真实文本-视频对分布,这一「图聚合+能量打分」思路可迁移到其他跨模态检索与图文对齐任务中。
EVA:面向端到端视频智能体的高效强化学习框架
EVA: Efficient Reinforcement Learning for End-to-End Video Agent
把视频理解从「被动识别整段视频」改成「先规划再看」的智能体范式:用 SFT+KTO+GRPO 三阶段训练让 MLLM 自主决定看哪些帧、何时看,可直接复用到长视频问答与高效视频推理中。
EMO-R3:面向多模态大模型情感推理的反思式强化学习
EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models
把可验证的反思式奖励(视觉-文本一致性 + 情感连贯性)接进 GRPO 类强化学习流程,为视觉-语言模型在主观、难以标注的任务上提供了一条可复用的训练范式;结构化思维链模板也可迁移到其他需要可解释推理的视觉理解任务。
EMAD:面向阿尔茨海默病的以证据为中心的可定位多模态诊断
EMAD: Evidence-Centric Grounded Multimodal Diagnosis for Alzheimer's Disease
把「句子→证据短语→3D MRI 解剖结构」的分层视觉定位机制与可验证奖励的强化微调结合,可复用于任何需要让生成式报告中的每条结论落到具体图像区域的可解释医学视觉语言任务;GTX-Distill 用弱监督教师向模型自生成报告的学生迁移定位行为,为降低密集标注成本提供了可借鉴范式。
ELV-Halluc:面向视频理解中语义聚合幻觉的基准评测
ELV-Halluc: Benchmarking Semantic Aggregation Hallucinations in Video Understanding
把视频幻觉从「帧级感知错误」重新拆解为「帧级语义聚合为事件级语义时的错误」,并给出可复用的细粒度评测协议与 DPO 缓解方案;做视频 MLLM 时序推理或幻觉评测的工作可直接沿用其 SAH 定义与 8K 对抗视频-文本对数据。
EG-3DVG:面向 3D 视觉定位的表达式与几何感知定位解码器
EG-3DVG: Expression and Geometry Aware Grounding Decoder for 3D Visual Grounding
面向 3D 视觉定位的解码器设计:位置引导的表达式交叉注意力把文本线索可靠注入视觉词元,几何感知掩码注意力只聚合几何一致的邻域特征,可直接迁移到任何需要文本-点云对齐的 grounding 或指代分割流程。
Dynamics:基于语言从视频推断刚体动力学的表示方法
Dynamics: Language-Based Representation for Inferring Rigid-Body Dynamics From Videos
将语言作为刚体动力学的统一表示,利用光流作为语义无关输入增强泛化,并通过测试时采样和进化搜索提升物理参数推断精度,为视觉物理推理提供了新范式。
面向视觉语言模型的动态感知偏好优化
Dynamics-Aware Preference Optimization for Vision-Language Models
对做 VLM 偏好微调的人,这篇给出了一个可直接套用的两阶段训练配方:先用低权重“温和负样本”做约束 SFT 压平损失面,再按模型平均每 token 对数概率自适应缩放负样本梯度,从而抑制简单负样本带来的无信息梯度;该权重设计可迁移到任意 DPO 类视觉语言对齐流程。
DynamicGTR:利用图拓扑表示偏好提升视觉语言模型在图问答上的能力
DynamicGTR: Leveraging Graph Topology Representation Preferences to Boost VLM Capabilities on Graph QAs
对做 VLM 的人来说,这篇给出了一个可复用的思路:把结构化输入(图)的多种表示形式(图像式、文本式)当作可选择的「模态」,在推理时按查询动态挑选,从而在准确率与输出长度之间做可控权衡;这种「表示选择器 + 零样本迁移」的框架可以迁移到视觉侧的结构化输入(如场景图、流程图、图表)的 VLM 问答上。
面向视觉语言模型测试时自适应的动态 Logits 调整与探索
Dynamic Logits Adjustment and Exploration for Test-Time Adaptation in Vision Language Models
针对 VLM 测试时自适应中熵过滤只取高置信样本、继承类别偏置的问题,提出用测试预测统计动态校准 logits,并用一致性引导的探索缓存主动纳入决策边界附近样本;这套「logit 校准 + 边界探索缓存」可直接迁移到 CLIP 类模型的在线部署与分布偏移场景。
DuoGen:迈向自主交错多模态生成
DuoGen: Towards Autonomous Interleaved Multimodal Generation
用预训练 MLLM 做视觉理解、用视频预训练 DiT 做图像生成,再以两阶段解耦对齐把两者拼成交错图文生成器,为视觉研究者提供了免单模态预训练即可搭建统一生成模型的可行路径,以及交错图文评测基准。
DuetSVG:基于内部视觉引导的统一多模态SVG生成
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
将视觉预测作为解码时的内部引导信号,并配合测试时缩放策略,可迁移到其他需要结构化输出的多模态生成任务(如代码生成、布局生成)中,提升生成结果的几何一致性与视觉合理性。
基于双层级置信度的医学视觉问答隐式自精炼
Dual-Level Confidence based Implicit Self-Refinement for Medical Visual Question Answering
提出双层级置信度(损失级与特征级)自适应融合为样本级权重,用于伪监督自训练,可迁移到其他视觉语言模型在分布偏移下的测试时自适应或半监督微调。
DriveCombo:自动驾驶中组合式交通规则推理的基准评测
DriveCombo: Benchmarking Compositional Traffic Rule Reasoning in Autonomous Driving
为视觉语言模型在自动驾驶中的规则理解提供了分层认知评测协议与 Rule2Scene 规则到场景的生成管线,可直接用于诊断 MLLM 在多规则冲突下的推理失效,并作为微调数据来源提升下游规划。
Dr. Seg:通过面向感知的设计重新审视视觉大语言模型的 GRPO 训练
Dr. Seg: Revisiting GRPO Training for Visual Large Language Models through Perception-Oriented Design
针对视觉感知任务(如推理分割)重新设计 GRPO 训练框架,提出 Look-to-Confirm 机制和 Distribution-Ranked Reward 模块,无需修改模型架构即可提升 VLLM 在复杂视觉场景下的感知性能,为将强化学习应用于视觉任务提供了可复用的训练策略。
智能降尺度:探究小型多模态模型中的感知与推理瓶颈
Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small Multimodal Models
论文把多模态小模型的性能下降拆解为感知瓶颈与推理瓶颈,并提出 visual extraction tuning:先显式训练模型抽取与指令相关的视觉细节,再做分步推理。做 VLM 压缩、蒸馏或小模型部署的研究者可直接复用这一「先抽取视觉细节、再推理」的两阶段范式,并借用其感知/推理解耦的评测思路定位自身模型的失效环节。
不要展示像素,展示线索:通过感知程序解锁语言模型中的视觉工具推理
Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs
提出将视觉工具输出(如深度、光流、对应关系)重写为紧凑、结构化的语言原生摘要,使多模态大模型能直接解析和推理,从而在BLINK等感知任务上大幅提升性能,为视觉-语言模型中的工具使用提供了免训练、模型无关的新范式。
DocSeeker:面向长文档理解的结构化视觉推理与证据定位
DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding
针对长文档理解中低信噪比和监督稀缺问题,提出结构化视觉推理流程与证据感知的强化学习优化方法,可复用于需要定位关键视觉证据的多模态任务。
DocPrune:通过背景、问题和理解感知的词元剪枝实现高效文档问答
DocPrune: Efficient Document Question Answering via Background, Question, and Comprehension-aware Token Pruning
针对文档图像中背景冗余和证据稀疏的特点,提出免训练的词元剪枝方法,可复用于其他视觉语言模型的长文档理解任务,提升推理效率。
你看到我指向哪里了吗?基于手势的第一人称视频问答
Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering
将3D手部关键点编码为离散token并与视频帧交错输入MLLM,为第一人称视频中的指向意图理解提供了可复用的空间-时序上下文注入方式;同时发布的EgoPointVQA数据集可用于评测模型的手势定位与指代推理能力。
VLM 是感知还是回忆?用经典视觉错觉探测视觉感知与记忆
Do VLMs Perceive or Recall? Probing Visual Perception vs. Memory with Classic Visual Illusions
提出 VI-Probe 框架,通过分级扰动和匹配视觉控制(无错觉诱导)来分离视觉感知与语言记忆,并引入极性翻转一致性、模板固定指数和错觉乘数等指标,为评估 VLM 的视觉感知敏感性提供了可复用的探测方法。
先分流,再定位:面向长视频理解的按查询类型自适应帧选择
Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding
提出按查询类型(全局/局部)分流的免训练帧选择策略:全局查询用均匀采样、局部查询才启用查询感知检索,可直接嵌入现有 LMM 长视频推理管线,在 256 帧输入下仍稳定提升,为长视频 token 预算分配提供可复用思路。
关键差异:通过审计模型发现并修补能力缺口
Differences That Matter: Auditing Models for Capability Gap Discovery and Rectification
用强化学习训练一个 MLLM 审计器,主动生成反事实图像与困难问题来最大化目标模型间的分歧,从而无标注地定位视觉语言模型的失效模式,并把这些样本直接当作微调数据来修补能力缺口——这是一种可复用的模型诊断与数据自举流程。
DialogueVPR:迈向对话式视觉地点识别
DialogueVPR: Towards Conversational Visual Place Recognition
把语言引导的地理定位从静态单样本检索改写为多轮对话式推理,其 DQ-pilot 提问器与 PRG 奖励可直接迁移到任何需要主动消解文本歧义的跨模态检索/定位任务(如文本检索行人、指令式导航)。
Diagram2Structure:通过 DiagramDiff 解锁大语言模型的图表理解能力——一个面向离线图表结构化的框架
Diagram2Structure: Unlocking LLMs' Diagram Comprehension through DiagramDiff, a Framework for Structuring Offline Diagrams
把离线图表图像重建为标准化结构化数据(元素实例+关系),再交给 LLM 做语义推理与编辑,为视觉-语言模型处理结构化图形提供了一条「先结构化、后推理」的可复用管线,也给出了图表重建与元素识别的评测设定。
DiGraphHal-Bench:评估多模态大语言模型在复杂有向图上的表现
DiGraphHal-Bench: Evaluating Multimodal Large Language Models on Complex Directed Graphs
该论文提出的有向图VQA基准和两阶段自动数据整理流程,可用于评估和提升多模态大模型在结构化视觉信息(如图表、流程图)上的细粒度推理与幻觉抑制能力,为视觉-语言模型在复杂图结构理解方向提供可复用的评测方法和数据构建思路。
DiG:差分视觉定位——增强多模态大语言模型的细粒度感知
DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Models
把「找出两张相似图的全部差异并定位」做成无需标注数量的代理任务,配合3D渲染自动造配对数据,可直接用于增强MLLM的细粒度定位与空间推理,并可迁移到RefCOCO系列指代定位。
通过下一词元预测检测一切
Detect Anything via Next Point Prediction
将目标检测重新表述为多模态大语言模型的下一词元预测,用特殊词元表示量化坐标,并通过GRPO强化学习后训练弥合离散到连续的坐标预测差距,为视觉感知提供语言感知的统一框架。
Demo2Tutorial:从人类经验到多模态软件教程
Demo2Tutorial: From Human Experience to Multimodal Software Tutorials
论文将屏幕录制与交互日志转化为结构化图文教程,其多模态动作解析与步骤规划思路可迁移到视觉-语言模型中的指令生成与GUI智能体训练,为利用无标注人类交互数据提供了一种可复用的表征蒸馏方法。
思深则视弱:理解与缓解多模态大语言模型推理过程中的感知损伤
Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models
提出免训练的视觉区域引导注意力(VRGA)框架,通过熵-聚焦准则选择视觉头并重加权注意力,缓解多模态大模型在推理时的注意力分散问题,可直接用于提升VQA和视觉定位任务的性能。
DeepScan:面向大型视觉语言模型视觉定位推理的免训练框架
DeepScan: A Training-Free Framework for Visually Grounded Reasoning in Large Vision-Language Models
提出免训练的分层扫描与重聚焦机制,可即插即用地增强LVLM的视觉定位与细粒度理解能力,为视觉证据提取与推理提供可复用框架。
DeepAlign:通过模态特定对齐缓解模态冲突
DeepAlign: Mitigating Modality Conflict through Modality-Specific Alignment
针对视觉-语言表征错位与模态细节流失,提出表征干预加结构诱导知识蒸馏的对齐框架,可直接用于改进任意 MLLM 的视觉编码器到语言模型的投影对齐环节,并解锁交错图文序列上的多模态上下文学习。
解耦视觉与语言:码本锚定的视觉自适应
Decoupling Vision and Language: Codebook Anchored Visual Adaptation
用离散码本把视觉编码器输出锚定到稳定词元空间,使编码器可独立微调而不改动投影器或 LLM,为视觉侧域自适应提供了一种与语言架构解耦的可复用方案。
解耦以泛化:面向数据稀缺视觉语言推理的上下文优先自进化学习
Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning
把 RL 后训练中的奖励信号按「理解上下文」与「解题」两个角色解耦,并配合迭代演化的种子题池做课程学习,可直接迁移到视觉推理类 VLM 的数据稀缺微调场景,缓解奖励黑客与策略熵坍塌。
DeAR:通过分解注意力头角色实现细粒度 VLM 适配
DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles
把 VLM 适配的粒度从「层」下沉到「注意力头」,用 Concept Entropy 给每个头打上属性/泛化/混合的角色标签,再用 Role-Based Attention Mask 隔离任务知识与泛化能力——做提示词学习或参数高效微调时,可直接复用这套头级角色划分与掩码控制信息流的思路,缓解适配与零样本泛化的权衡。
DUET-VLM:面向视觉语言模型训练与推理的双阶段统一高效词元缩减
DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference
提供一种即插即用的双阶段视觉词元压缩方案:先在视觉编码器输出端做冗余感知合并,再在语言骨干网络内按层用文本显著性引导丢弃视觉词元,可直接嵌入 LLaVA/Video-LLaVA 类 VLM 的端到端训练与推理以大幅降低视觉词元数而几乎不掉点。
DSO:面向偏见缓解的直接引导优化
DSO: Direct Steering Optimization for Bias Mitigation
对做 VLM 公平性与推理时可控生成的人,这篇给出了一个可复用的手段:用强化学习直接优化激活空间中的线性引导向量,而不是依赖人工设定的启发式方向,从而在推理阶段按需调节公平性与能力的权衡。
DSCA:面向终身VLM编辑的动态子空间概念对齐
DSCA: Dynamic Subspace Concept Alignment for Lifelong VLM Editing
为视觉语言模型提供了一种基于正交语义子空间分解的持续知识编辑方法,可复用于需要顺序更新多模态知识的场景,避免编辑间的相互干扰。
DRS-GUI:面向免训练 GUI 视觉定位的动态区域搜索
DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding
把 MCTS 驱动的 Focus/Shift/Scatter 区域搜索作为免训练插件接到现成 MLLM 上,用于高分辨率截图中的小目标定位,可直接迁移到任意需要从大图中裁剪出相关区域再交给 VLM 的视觉定位任务。
DREAM:基于显式自适应记忆的文档识别
DREAM: Document Recognition with Explicit Adaptive Memory
把显式的多尺度原型记忆作为即插即用模块接入编码器-解码器,让局部区域稀疏检索可解释的结构原型(如边框、倾斜文本),为文档/手写识别等视觉-语言任务提供显式区域级结构上下文,可迁移到任何需要布局先验的视觉编码器。
DPL:解耦原型学习以增强视觉-语言 Transformer 对缺失模态的鲁棒性
DPL: Decoupled Prototype Learning for Enhancing Robustness of Vision-Language Transformers to Missing Modalities
对做多模态视觉-语言模型的人,DPL 提供了一种可插拔的预测头设计:按当前缺失模态情形选择类原型并分解为图像/文本分量,可直接替换现有提示词框架后的全连接检测头,用于提升图像缺失时的推理鲁棒性。
DEVA:面向视觉感知任务的多模态大语言模型微调
DEVA: Fine-tuning Multimodal Large Language Models for Visual Perception Tasks
对做视觉感知任务的 MLLM 微调者,这篇给出了 GRPO 训练动力学的失效分析(多样性下降、探索受限、奖励聚合次优),并给出可插拔的改进:基于流的训练目标提升多样性、全局熵正则扩大探索、以对齐度作为非可验证奖励配合调和聚合,可直接套用到检测/定位等视觉感知的 RL 微调流程中。
直击要点:基于事件链的免训练多模态摘要
Cut to the Chase: Training-free Multimodal Summarization via Chain-of-Events
把分层事件图当作免训练的结构化推理骨架,为视频-文本-图像融合提供显式的跨模态视觉定位与时序事件转移建模,可复用于视频问答、视频描述等需要事件级时序推理的视觉-语言任务。
曲率感知描述:利用测地注意力进行3D场景理解
Curvature-Aware Captioning: Leveraging Geodesic Attention for 3D Scene Understanding
将双曲几何中的洛伦兹空间与斜空间注意力引入3D稠密描述任务,为点云-语言跨模态对齐提供了一种保持层次语义的几何先验,可复用于其他需要建模场景实例间层级关系的视觉-语言任务。
CrossVL:面向跨视角视觉语言检测的复杂度感知特征路由与配对课程学习
CrossVL: Complexity-Aware Feature Routing and Paired Curriculum for Cross-View Vision-Language Detection
CPA 用多模态统计量估计场景复杂度并据此把视觉特征路由到不同通路,这一「按复杂度动态选择融合路径」的思路可直接迁移到任意 VLM 检测器的视觉-语言融合层;PCL 用同步地空图像对的语义一致性做早期稳定监督、再逐步转向随机采样,为跨域/跨视角微调提供了一种可复用的课程调度策略。
跨模态恒等映射:通过强化学习最小化模态转换中的信息损失
Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning
提出用图文检索相似度作为强化学习奖励信号,无需人工标注即可优化LVLM的图像描述,减少模态转换中的信息损失;该奖励设计可迁移到其他需要细粒度视觉理解的生成任务。
跨模态模糊对齐网络用于文本-航拍行人检索及大规模基准
Cross-modal Fuzzy Alignment Network for Text-Aerial Person Retrieval and A Large-scale Benchmark
针对无人机视角下视觉信息退化导致的跨模态对齐难题,提出用模糊隶属度函数动态量化词元级可靠性,并引入地面视角图像作为桥接代理,为跨模态检索中的噪声抑制和模态鸿沟弥合提供了可复用的对齐思路。
跨模态引导的视觉合成用于数据高效的多模态抑郁识别
Cross-Modal Guided Visual Synthesis for Data-Efficient Multimodal Depression Recognition
对视觉研究者而言,可复用其「用音频/文本条件生成视觉特征来扩充训练分布,并以识别器性能闭环反馈驱动生成」的思路,用于视觉样本稀缺时的多模态表征增强。
面向 LVLM 幻觉缓解的跨模态注意力校准
Cross-Modal Attention Calibration for LVLM Hallucination Mitigation
提供了一种免训练的推理期干预手段:通过掩蔽跨模态注意力权重较大的 value 向量构造失真对比分支,并对图像 token 做位置校准,可直接插入现有 LVLM 的解码流程以抑制幻觉,无需重训练。
测试时的可控联邦提示词学习
Controllable Federated Prompt Learning at Test Time
对做 CLIP 类视觉语言模型落地的人来说,这篇给出了一个测试时无需标签、仅靠置信度与模型-数据对齐指标动态加权全局/个性化/冻结三种提示词的方案,可直接迁移到跨域部署时的提示词自适应。
共识熵:利用多 VLM 一致性实现自验证与自改进的 OCR
Consensus Entropy: Harnessing Multi-VLM Agreement for Self-Verifying and Self-Improving OCR
提出一种无需训练、模型无关的「共识熵」指标,用多个 VLM 在输出空间的一致性来估计单样本可靠性;做 VLM 输出筛选、伪标签清洗或集成解码时可直接复用该打分与自适应路由策略。
面向多模态情感分析的冲突感知自适应交叉重建
Conflict-Aware Adaptive Cross-Reconstruction for Multimodal Sentiment Analysis
对做多模态(视觉-音频-文本)融合的视觉研究者,这篇提供了用「跨模态重建」替代相似度损失来做共享表征隐式对齐的思路,并给出按模态冲突程度自适应加权、抑制冲突模态的具体机制,可直接迁移到视觉主导的多模态融合任务中。
通过共形采样实现带泛化证书的条件事实性受控大语言模型
Conditional Factuality Controlled LLMs with Generalization Certificates via Conformal Sampling
为 VLM 输出提供带条件覆盖保证的集合值预测:用特征条件化的分位数回归学习连续接受阈值,在推理时以不动点规则给出预测集合,可直接用于 Flickr8k 这类图文任务上按难度分组控制幻觉与集合大小。
面向动作识别的 VLM 精简测试时自适应
Condensed Test-Time Adaptation of VLMs for Action Recognition
提出免训练的 ConDA 适配器,用视觉-文本对齐的概率做语义图像块筛选,再按图像块级视觉相似度构建时空管,绕开记忆缓存两步模态映射链的非传递性问题;做视频 VLM 下游适配时可直接复用这套「文本引导视觉聚合」的免训练流程。
Conan:在多尺度视觉证据上像侦探一样推理的渐进式学习
Conan: Progressive Learning to Reason Like a Detective over Multi-Scale Visual Evidence
把「帧级证据定位」显式建模为推理轨迹的一部分(识别-推理-动作),并用 RLVR 分阶段冷启动训练,可直接迁移到需要视觉 grounding 的多步 VQA、长视频问答与视频 agent 决策场景。
CogniVerse:以认知反思与几何推理革新多模态检索增强生成
CogniVerse: Revolutionizing Multi-Modal Retrieval-Augmented Generation with Cognitive Reflection and Geometric Reasoning
为视觉语言模型的知识密集型问答提供了一种基于黎曼流形对齐和谱图优化的多模态检索增强生成框架,其认知反思模块可动态判断检索必要性,对构建高效可靠的视觉问答系统有直接参考价值。
CodeV:以图像代码实现忠实视觉推理的工具感知策略优化
CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization
对做多模态视觉推理智能体的人,这篇提供了可复用的过程级奖励设计思路:把奖励直接定义在图像裁剪等工具输入/输出上而非思维链 token 上,并用可执行 Python 代码表示视觉工具,从而抑制奖励作弊、提升工具使用的证据一致性;其忠实性评测协议也可直接用于诊断自家 VLM 的"猜对答案但推理不忠实"问题。
CodePercept:面向多模态大模型的代码接地视觉STEM感知
CodePercept: Code-Grounded Visual STEM Perception for MLLMs
将可执行代码作为视觉感知的监督信号,通过图像到代码的生成任务迫使模型进行精确的视觉理解,为评估和增强多模态大模型的细粒度感知能力提供了新范式。
CodeMMR:统一自然语言、代码与图像的统一检索
CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval
把图像(网页界面、数据可视化、SVG、示意图、UML)与自然语言、代码嵌入同一语义空间做跨模态检索,其指令驱动的多模态对齐与统一嵌入思路可直接迁移到视觉侧的图文检索、视觉定位与多模态 RAG 场景。
CodeDance:一种用于可执行视觉推理的动态工具集成多模态大语言模型
CodeDance: A Dynamic Tool-integrated MLLM for Executable Visual Reasoning
将可执行代码作为视觉推理的通用求解器,通过动态组合工具(如检测、绘图)并渲染中间视觉产物,实现透明、可自检的推理过程;其强化学习训练中涌现的工具组合与跨任务迁移能力,为视觉语言模型的可解释推理与工具增强提供了新范式。
CoVFT:面向多模态大模型的上下文感知视觉微调
CoVFT: Context-aware Visual Fine-tuning for Multimodal Large Language Models
对做 MLLM 视觉侧适配的人,这篇给出了一个可复用的思路:把多模态上下文显式抽成 context vector 并送入 MoE 来分解视觉编码器在不同上下文下的冲突梯度,从而让视觉微调稳定超过冻结基线;其配置对齐的基准也提示视觉微调实验必须控制训练配置变量。
CoV-Align:以连贯视觉语义优先的高效细粒度跨模态对齐
CoV-Align: Efficient Fine-grained Cross-Modal Alignment with Cohesive Visual Semantics Priority
用无文本引导的语义收敛注意力先聚合视觉 patch,再与文本对齐,可把图文检索/跨模态检索中的 patch-word 冗余相关性计算量降下来,3-5x 加速对大规模多模态训练与推理有直接复用价值。
面向高效视频-语言预训练的簇级时空掩码
Cluster-Wise Spatio-Temporal Masking for Efficient Video-Language Pretraining
提出按帧内语义聚类、每簇保留时序密度最高词元的掩码策略,可直接迁移到任何视频-语言或视频自监督预训练流程中,在极高掩码率下同时缓解视觉信息丢失与帧间信息泄漏,并配合视频-文本相关性重建目标提升跨模态语义对齐。
面向视觉语言模型长尾泛化的聚类感知神经坍缩提示词微调
Cluster-Aware Neural Collapse Prompt Tuning for Long-Tailed Generalization of Vision-Language Models
把神经坍缩的 ETF 几何约束引入提示词微调,用聚类级局部约束替代全局约束,为在类不平衡数据上微调 VLM 时保住尾类判别力提供了一个可复用的损失设计思路。
Chart-FR1:面向稠密图表的视觉聚焦驱动细粒度推理
Chart-FR1: Visual Focus-Driven Fine-Grained Reasoning on Dense Charts
Focus-CoT 把推理步骤显式锚定到局部图像区域与 OCR 信号上,配合带信息效率奖励的 Focus-GRPO 压缩冗余视觉 token,这套「视觉聚焦+自适应推理深度」的机制可直接迁移到文档、图表、密集标注场景的多模态推理,也为视觉 token 冗余问题提供了 RL 层面的解法。
思维链引导的多模态目标重识别
Chain-of-Thought Guided Multi-Modal Object Re-Identification
把 MLLM 的思维链文本推理作为锚框条件,在早期特征、跨模态一致性和决策三个层级约束视觉特征学习,为视觉-语言检索类任务提供了一种可复用的「文本逻辑引导视觉表征」范式。
帧链:通过帧感知推理提升多模态大语言模型的视频理解能力
Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning
提出单阶段帧感知推理链(Chain-of-Frames),让视频LLM在推理中显式引用关键帧,无需辅助模块即可提升时序定位与视频理解性能;其构建的CoF-Data数据集和合成数据增强策略可复用于视频推理任务。
CausalLens:敏感度引导的多头因果干预用于大型视觉语言模型幻觉缓解
CausalLens: Sensitivity-Guided Multi-Head Causal Intervention for Hallucination Mitigation in Large Vision-Language Models
提出一种免训练、单次前向的推理时干预:按视觉、文本、系统提示词三条通路分解注意力头,用敏感度度量挑出视觉可靠的注意力头并调整其中层隐状态贡献,再以投影对齐校正稳定多头融合后的状态。做 LVLM 幻觉缓解或视觉 grounding 的研究者可直接复用这套注意力头级敏感度分析与隐状态校正流程,替代多遍/对比解码以降低延迟。
CaptionFormer:面向时空目标的统一分割、跟踪与描述
CaptionFormer: Unified Segmentation, Tracking, and Captioning for Spatio-Temporal Objects
用现成 VLM 为视频中时空定位的实体自动生成描述,把 LVIS/LV-VIS 扩成带描述的预训练数据,再用一个端到端模型联合做检测、分割、跟踪与描述;对做视频-语言任务的人,这是一条用合成字幕绕开人工标注瓶颈的可复用数据构造与预训练路线。
CapNav:面向能力条件化室内导航的视觉语言模型基准
CapNav: Benchmarking Vision Language Models on Capability-conditioned Indoor Navigation
为视觉语言模型引入「智能体物理能力」这一条件变量,并给出 45 个真实室内场景、473 个任务的能力条件化导航基准,可直接用于评测和训练 VLM 的空间尺寸推理与具身决策能力。
第二视角图像能否充当一种语言?面向 X 射线违禁品检测的几何与语义跨模态推理
Can a Second-View Image Be a Language? Geometric and Semantic Cross-Modal Reasoning for X-ray Prohibited Item Detection
把第二视角图像当作「类语言模态」与文本语义联合对齐,并用结构化思维链(top→side→conclusion)组织跨视角几何与跨模态语义的推理,这一设定可迁移到任何多视角+文本的检测或问答任务中。
基于专家协作的伪装感知图像-文本检索
Camouflage-aware Image-Text Retrieval via Expert Collaboration
针对伪装场景中目标与背景高度相似导致跨模态对齐困难的问题,提出双分支视觉编码器与置信度条件图注意力机制,可复用于其他低对比度或复杂背景下的视觉-语言检索任务。
CaST-Bench:面向视频问答的因果链视觉定位时空推理基准
CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering
该基准要求模型在视频中定位因果链的时空证据(时序片段和边界框轨迹),为视觉语言模型的可解释推理和减少虚假关联提供了可评估的测试平台,其标注管线和评估指标可直接用于训练和评测更透明的视频问答模型。
CURE:面向可靠解剖定位报告生成的课程引导多任务训练
CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation
把错误感知的课程学习用在多模态指令微调上,按模型当前表现动态调整短语定位与报告生成样本的采样权重,为视觉-语言模型提升空间对齐、抑制幻觉提供了一个无需额外数据的可复用训练策略。
CORE:以紧凑目标中心表征作为 LVLM 词元合并的新范式
CORE: Compact Object-centric REpresentations as a New Paradigm for Token Merging in LVLMs
用轻量分割解码器产出的物体掩码作为高层语义先验来指导视觉词元合并,并配合质心引导排序恢复合并后词元的空间顺序——这套「语义先验引导压缩 + 位置重排」思路可直接迁移到任何需要削减视觉词元数量的 VLM 推理管线中。
COPO:面向多模态大语言模型幻觉的因果导向策略优化
COPO: Causal-Oriented Policy Optimization for Hallucinations of MLLMs
COPO 通过因果完备性奖励和 token 级充分性/必要性约束,在 GRPO 框架内构造因果感知的优势函数,为视觉语言模型提供了一种可复用的幻觉缓解训练策略,可直接用于改进多模态对齐与生成忠实度。
CMR-RD:面向可解释心脏磁共振诊断的长尾自适应视觉语言模型
CMR-RD: Long-Tailed Adaptive VLM for Explainable CMR Diagnosis
把在线多阶段强化学习与自适应采样(GPPO)用于视觉语言模型的后训练,让模型主动探索稀有类别,这套长尾偏置缓解思路可直接迁移到其他医学或长尾视觉-语言诊断任务。
CLiViS:借助语言-视觉协同释放认知地图以赋能具身视觉推理
CLiViS: Unleashing Cognitive Map through Linguistic-Visual Synergy for Embodied Visual Reasoning
提出免训练的 LLM 规划 + VLM 开放世界感知协同框架,并用动态认知地图作为结构化场景表示,可复用于长时第一人称视频的逐步组合推理与长程视觉依赖建模。
类 CLIP 模型作为基础密度比估计器
CLIP-like Model as a Foundational Density Ratio Estimator
把 CLIP/SigLIP 的对比学习目标重新解释为预训练密度比估计器,可直接用于多模态数据筛选(KL 引导的 LAION2B 过滤替代)和少样本提示词下的重要性加权,为视觉-语言数据处理与提示词工程提供可复用工具。
CLIP 目光短浅:把注意力放到第一句之外
CLIP Is Shortsighted: Paying Attention Beyond the First Sentence
揭示了长描述图文对中「首句摘要」造成的注意力捷径,并给出无需额外参数的训练期去偏方案(去掉摘要句+句子子采样+词元填充),可直接用于改进 CLIP 类图像编码器在密集描述与长文本检索上的对齐质量。
CLEP:对比语言-姿态预训练
CLEP: Contrastive Language-Pose Pretraining
提出层次化姿态编码器与跨尺度注意力融合机制,将关节、肢体、身体多层级特征动态整合,可用于任何需要细粒度人体姿态-语言对齐的视觉-语言任务,如文本驱动的姿态生成与编辑。
CLCR:面向多模态学习的跨层级语义协同表征
CLCR: Cross-Level Semantic Collaborative Representation for Multimodal Learning
对做视觉-语言或多模态融合的研究者,可复用其「层级化共享/私有子空间 + 可学习词元预算约束跨模态注意力」的设计,避免私有信息在融合时泄漏,并可用其层级锚点聚合思路处理视觉与文本语义尺度不同步的问题。
CLAY:视觉语言嵌入空间中的条件视觉相似度调制
CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space
把预训练 VLM 的嵌入空间当作文本条件的相似度空间,无需训练即可用固定视觉嵌入做多条件组合检索;对做图文检索、个性化搜索或需要按用户意图动态调整相似度度量的视觉研究者,这是一个可直接复用的免训练条件化思路。
CICA:耦合置信度感知预训练与置信度引导注意力,实现鲁棒的多模态情感分析
CICA: Coupling Confidence-Aware Pretraining with Confidence-Informed Attention for Robust Multimodal Sentiment Analysis
把「每个模态编码器自估置信度」作为预训练目标,再用置信度加权注意力做融合,这套机制可直接迁移到视觉-语言任务中处理图像/文本模态噪声或缺失的场景(如噪声图文检索、缺失模态的VQA)。
CGL:通过强化微调推进持续 GUI 学习
CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning
对做多模态 GUI 智能体或 VLM 智能体持续学习的人,这篇给出了 SFT 与 RL(GRPO)混合训练时避免灾难性遗忘的具体手段:用策略熵调节 SFT 比例,并把 SFT 梯度投影到 GRPO 锚框梯度上做梯度手术,可直接迁移到其他 VLM 智能体的增量适配场景。
CF-IPT:面向多源遥感数据分类的视觉语言预训练模型跨模态融合交互提示微调
CF-IPT: Cross-Modal Fusion Interactive Prompt Tuning of Vision-Language Pre-Trained Model for Multisource Remote Sensing Data Classification
把 CLIP 的提示学习从自然图像迁移到多源遥感:用光谱-空间提示矩阵引导视觉与文本分支的交互,仅训练 0.76% 参数即可完成多源图像分类,可作为跨模态提示微调在非自然图像域的可复用范式。
CCCaption:面向完整与正确图像描述的双奖励强化学习
CCCaption: Dual-Reward Reinforcement Learning for Complete and Correct Image Captioning
提出基于双奖励强化学习的图像描述训练框架,利用多个LVLM分解视觉查询来评估完整性和正确性,可复用于其他视觉语言生成任务的奖励设计。
CC-VQA:面向知识型视觉问答中知识冲突缓解的冲突与相关性感知方法
CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering
对做知识型 VQA 的人,这篇给出了一个免训练、可直接插到现有 VLM 推理流程里的方案:先用视觉语义做内外知识冲突判定,再用相关性加权的位置编码压缩与自适应解码抑制低相关检索段落,可作为检索增强 VLM 推理阶段的通用后处理模块复用。
CAST:面向交互式文本到图像检索的上下文感知动态潜空间变换
CAST: Context-Aware Dynamic Latent Space Transformation for Interactive Text-to-Image Retrieval
提出一种轻量级即插即用的上下文感知潜空间变换模块(CASR),通过低秩投影和强度调制动态调整多模态嵌入空间,可复用于其他需要细粒度语义对齐的跨模态检索或生成任务。
CASPA:面向视觉语言模型模态无关适配的图结构概念锚点
CASPA: Graph-Structured Concept Anchors for Modality-Agnostic Adaptation in Vision-Language Models
把适配从「每类一组提示词参数」改为「共享文本/图像锚点上的软关联分布」,在冻结 CLIP 骨干的前提下实现参数共享与跨类语义复用;做 VLM 下游适配(少样本、跨数据迁移)时可直接替换 class-specific prompt 的参数化方式,并用 S-XCR 约束图文推理空间一致。
CARE 何为失败:面向可验证多模态推理的对比锚定反思
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal Reasoning
对做多模态推理后训练的人,CARE 给出了一套把「全错批次」和「接近正确」的 rollout 转成对比监督的具体配方:锚定对比目标 + 组内 z-score 归一化 + 全负样本救援,可直接替换 GRPO 的损失项;RGR 的单样本结构化自修复则提供了一种无需测试时反思就能把近失样本转成正样本的重采样策略。
CAPT:面向减少视觉-语言错位的混淆感知提示词微调
CAPT: Confusion-Aware Prompt Tuning for Reducing Vision-Language Misalignment
把 CLIP 类模型在相似类别间的系统性混淆当作可学习的监督信号:用混淆库加语义/样本双挖掘器与多粒度专家融合来修正提示词,可直接迁移到任何需要细粒度判别或开放词表分类的视觉-语言下游任务。
CADFS:面向大语言模型辅助计算机辅助设计的大规模 CAD 程序数据集与框架
CADFS: A Big CAD Program Dataset and Framework for Computer-Aided Design with Large Language Models
把 CAD 建模历史表示为可执行的 FeatureScript 程序,并用多模态标注微调 VLM,使视觉语言模型能够从文本或图像生成复杂 CAD 设计历史;这套「程序化序列表示 + 多模态标注」的思路可迁移到其他需要结构化程序输出的视觉生成任务。
构建具有人机协同监督的精确视频语言
Building a Precise Video Language with Human-AI Oversight
提出以「批判式人机协同」替代全人工写描述:模型先出预描述,专家只写纠错批判,再把批判与前后描述偏好用 SFT/DPO/推理时扩展训练开源 VLM,可直接迁移到任何需要高质量细粒度视频/图像描述数据的视觉任务。
通过稀疏对齐与单模态记忆库弥合组合零样本学习中的模态间隙
Bridging the Modality Gap in Compositional Zero-Shot Learning via Sparse Alignment and Unimodal Memory Bank
针对 CLIP 图文模态间隙,用稀疏对齐把文本表征直接绑定到语义相关的视觉 patch,并用纯视觉记忆库做分类,这套思路可迁移到任何依赖 CLIP 对齐的零样本/开放词表视觉任务。
连接像素与词:面向多模态媒体验证的掩码感知局部语义融合
Bridging Pixels and Words: Mask-Aware Local Semantic Fusion for Multimodal Media Verification
把掩码-标签对作为视觉与文本之间的细粒度对齐单元,并用双向查询机制检测局部语义冲突,这一思路可直接迁移到需要像素级视觉定位的跨模态任务(如指代分割、开放词表定位、图文检索中的局部匹配)。
通过语言模型连接人脸理解与动画
Bridging Facial Understanding and Animation via Language Models
将3D人脸参数序列当作语言token,用语言模型统一做运动理解与生成,为文本驱动人脸动画提供了可复用的量化运动token+LM建模范式,可迁移到人体动作或手势的文本-运动双向建模。
通过外部推理框架突破多模态大语言模型的区域感知瓶颈
Breaking the Regional Perception Bottleneck of Multimodal Large Language Models via External Reasoning Framework
把蒙特卡洛树搜索这类推理时搜索引入 MLLM 的像素级视觉定位,用多模态特征对齐打分和区域特征加权投票替代回归解码器,为纯 MLLM 做 grounding 提供了一条不增加训练成本、只扩展推理阶段的可复用路线。
打破幻觉:多模态解码中正负路径的相遇
Breaking the Illusion: When Positive Meets Negative in Multimodal Decoding
PND 是一种无需训练的推理阶段解码干预:用多层注意力放大显著视觉证据作为正路径,同时削弱核心物体特征构造反事实负路径,逐步对比两者输出以压制语言先验主导的幻觉。做 VLM 幻觉缓解或解码策略改进的工作可直接复用该双路径对比框架,且它揭示了视觉特征在注意力中被系统性低估这一可进一步探查的现象。
以双粒度对齐增强 CLIP 的视觉重编程
Boosting Visual Reprogramming for CLIP with Dual Granularity Alignment
把 CLIP 的视觉重编程从单层图文对齐扩展到「多尺度视觉粒度 + 标签层级语义粒度」的双粒度对齐,其中不确定性校准的预测融合(UPF)与原型引导的层级知识传播(HKP)可直接迁移到其他需要多尺度或多层级标签的下游适配任务。
通过激活重放提升大型多模态模型的推理能力
Boosting Reasoning in Large Multimodal Models via Activation Replay
提出一种无需训练的测试时干预方法:通过操纵视觉 token,将基座 LMM 的低熵激活重放到 RLVR 后训练的 LMM 中,以提升多模态推理性能。该方法可复用于任何基于 RLVR 微调的视觉语言模型,以缓解推理覆盖变窄的问题。
提升零样本目标计数的数量与空间感知能力
Boosting Quantitive and Spatial Awareness for Zero-Shot Object Counting
提出数值条件提示和代价聚合解码器,将计数从粗检索转为细粒度数量感知,可直接用于开放词表计数和视觉语言模型的定量推理增强。
以由粗到细的视觉处理提升文档解析效率与性能
Boosting Document Parsing Efficiency and Performance with Coarse-to-Fine Visual Processing
VRFM 用定位与上下文关系预测筛出有效视觉 token、抑制背景冗余,这一「先粗筛区域再细识别」的 token 选择思路可直接迁移到高分辨率图像输入下的任意 VLM 任务(如高分辨率 OCR、图表理解、遥感图文),在保持精度的同时大幅削减视觉 token 数与推理成本。
BoostSLT:通过即插即用的扩散式语义增强器提升手语翻译
BoostSLT: Boosting Sign Language Translation via a Plug-and-Play Diffusion-Based Semantic Enhancer
把扩散模型当作段落级语义重建器,对片段级翻译结果做拼接与精炼,这个「先分段再扩散融合」的即插即用思路可直接迁移到视频字幕、长视频描述等长序列视觉-语言生成任务。
Blink:面向增强多模态理解的动态视觉词元分辨率
Blink: Dynamic Visual Token Resolution for Enhanced Multimodal Understanding
提出基于注意力图的逐层显著性估计与 TokenSR 超分扩展机制,可在单次前向中动态为显著视觉词元分配更多计算,是一种可插拔的视觉词元分辨率调度思路,可迁移到其他 MLLM 的视觉编码与推理加速场景。
BiomedCCPL:面向生物医学视觉语言模型的因果条件提示词学习
BiomedCCPL: Causal Conditional Prompt Learning for Biomedical Vision-Language Models
用因果前门调整约束图像条件提示词的生成,使提示词只依赖跨类共享的诊断性视觉特征,这一思路可直接迁移到任何 VLM 的 base-to-novel 泛化场景,用来抑制已见类中的虚假线索。
BioVITA:面向视觉-文本-声学对齐的生物数据集、模型与基准
BioVITA: Biological Dataset, Model, and Benchmark for Visual-Textual-Acoustic Alignment
把音频作为第三模态接入 BioCLIP2 式的图文对比表征空间,并给出覆盖三模态全方向、三个分类层级的跨模态检索基准,为视觉研究者提供可复用的多模态对齐训练范式与评测协议。
超越全局分数:以细粒度词元定位作为 LVLM 幻觉的鲁棒检测器
Beyond the Global Scores: Fine-Grained Token Grounding as a Robust Detector of LVLM Hallucinations
把「对象词元是否强定位到某个图像块」作为判据,用 patch 级注意力弥散度与语义对齐度两个统计特征做词元级幻觉检测,可作为一种无需额外训练、可解释的 VLM 输出校验插件,接入任意 LVLM 的解码过程。
超越语义搜索:面向组合图像检索的指代锚定
Beyond Semantic Search: Towards Referential Anchoring in Composed Image Retrieval
提出以边界框作为视觉锚点的细粒度组合图像检索任务,并设计上下文感知注意力调制器,可复用于需要实例级保真度的多模态检索与定位任务。
超越感知捷径:面向轻量级多模态大模型可泛化视频推理的因果启发去偏优化
Beyond Perceptual Shortcuts: Causal-Inspired Debiasing Optimization for Generalizable Video Reasoning in Lightweight MLLMs
对做轻量级视频 MLLM 的研究者,这篇给出了一个可复用的去偏训练范式:先训练一个专门拟合数据偏置的「偏置模型」,再用带排斥项的 CDPO 目标把主模型推离捷径逻辑,可在不做 SFT、仅用 1% 数据做 RL 的条件下提升视频推理泛化性。
超越多项选择:面向鲁棒视觉语言强化微调的可验证开放问答
Beyond Multiple Choice: Verifiable OpenQA for Robust Vision-Language RFT
为视觉语言模型提供可验证的开放问答数据构造与自动验证流程,可直接用于强化微调(RFT)和更可靠的基准评测,避免多项选择选项泄露带来的奖励信号偏差。
超越缺失模态:超图条件扩散用于不确定性感知的多模态情感识别
Beyond Missing Modalities: Hypergraph Conditioned Diffusion for Uncertainty-Aware Multimodal Emotion Recognition
提出用掩码超图注意力条件扩散模型在潜空间恢复缺失模态特征,并用双通道证据融合量化不确定性,可迁移到视觉-语言多模态任务中处理模态缺失与不确定性建模。
超越逐层合并:面向视觉语言模型的链式合并
Beyond Layer-Wise Merging: Chain-of-Merging for Vision-Language Models
为视觉研究者提供一种免训练的参数级融合手段:把数学/推理专精的 LLM 参数按结构+语义匹配分数自适应地注入 VLM 的不同层,可在不重训的情况下提升 VLM 的数学推理与通用视觉理解,适合作为多模态模型能力扩展的轻量后处理方案。
超越启发式提示词:面向零样本图像识别的概念引导贝叶斯框架
Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition
把类别概念当作潜变量、用贝叶斯边缘化替代启发式提示词集成,并配一个无需训练的自适应软裁剪似然来压制离群概念——这套思路可直接迁移到 CLIP 类模型的零样本/少样本识别与开放词表分类中,替代手工 prompt 模板搜索。
超越图模型:基于随机图适配器的可靠 VLM 微调
Beyond Graph Model: Reliable VLM Fine-Tuning via Random Graph Adapter
把类别文本描述建模成顶点随机知识图,用概率消息传播得到上下文感知的分布表示,再经重参数化采样学习文本适配器;做 VLM 下游少样本分类时可直接替换确定性文本适配器,并配合多模型不确定性融合提升鲁棒性。
超越基于描述文本的查询:视频时刻检索中的搜索式查询
Beyond Caption-Based Queries in Video Moment Retrieval
对做视频-语言定位的人:论文指出 DETR 式 VMR 模型在从描述性 caption 查询迁移到简短搜索查询时,会出现解码器查询坍缩(active decoder-query collapse),并给出通过增加活跃解码器查询数量来缓解的架构改法;这套诊断与改法可直接迁移到其他基于 DETR 的 grounding/定位模型上。
超越 3D VQA:向视觉语言模型注入 3D 空间先验以增强几何推理
Beyond 3D VQAs: Injecting 3D Spatial Priors into Vision-Language Models for Enhanced Geometric Reasoning
把点对应与深度一致性作为深层监督信号注入 LLM 的 Transformer 各层,为提升 VLM 三维空间推理提供了一条不依赖 3D VQA 数据、可复用的训练路径;其逐层对应匹配诊断也可直接用于分析其他 VLM 的内部几何表征。
更好、更强、更快:以同步文本全掩码预测破解基于多模态大模型的分割三难困境
Better, Stronger, Faster: Tackling the Trilemma in MLLM-based Segmentation with Simultaneous Textual Mask Prediction
把分割掩码当作图像 patch 上的并行填空任务,在 MLLM 单次前向中一次性输出整张掩码,从而在不破坏对话能力的前提下兼顾分割质量与推理速度;做指代分割或多任务 VLM 的工作可直接复用这一解耦式输出头设计。
BUSSARD:面向双射通用场景特定异常关系检测的归一化流
BUSSARD: Normalizing Flows for Bijective Universal Scene-Specific Anomalous Relationship Detection
把场景图里的物体-关系-物体三元组用语言模型嵌入后接归一化流做似然式异常检测,为视觉关系理解提供了一个可复用的『关系级异常打分』范式,可直接迁移到场景图生成的关系合理性校验或开放世界关系检测。
BOP-ASK:面向视觉语言模型的物体交互推理
BOP-ASK: Object-Interaction Reasoning for Vision-Language Models
利用 BOP 数据集的 6D 物体位姿自动派生抓取位姿、指代物体位姿、路径轨迹与相对空间/深度关系,为 VLM 的空间与交互推理提供可规模化、带精确几何真值的训练与评测信号;这套「从位姿标注反推问答」的流水线可直接迁移到其他需要细粒度 3D 监督的视觉-语言任务。
BAMI:GUI 视觉定位中的免训练偏差缓解
BAMI: Training-Free Bias Mitigation in GUI Grounding
针对高分辨率 GUI 截图上视觉定位的精度偏差与歧义偏差,提出免训练的推理期干预(由粗到细聚焦 + 候选选择),可直接套用到任意 VLM 的坐标预测环节,无需重训即可提升定位精度。
AutoTraces:基于多模态大语言模型的自回归轨迹预测
AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models
把连续物理坐标离散化为 token 接入 LLM 自回归解码,并用多模态 LLM 自动生成时空推理思维链,这套「坐标分词 + 自动 CoT」可迁移到人体轨迹预测、视觉导航等需要输出连续几何序列的视觉任务。
像苏格拉底一样提问:Socrates 帮助视觉语言模型理解遥感图像
Asking like Socrates: Socrates helps VLMs understand remote sensing images
提出「证据链式思维」RS-EoT 范式与 SocraticAgent 自博弈多智能体合成推理轨迹,并用两阶段渐进式强化学习(先细粒度视觉定位、后 VQA)训练 VLM;对做视觉推理、视觉定位与遥感 VQA 的研究者,这是一套可复用的「推理—回看图像」迭代训练流程,可直接迁移到高分辨率或大场景图像理解任务。
ArtiMuse:联合评分与专家级理解的细粒度图像美学评估
ArtiMuse: Fine-Grained Image Aesthetics Assessment with Joint Scoring and Expert-Level Understanding
提出基于多模态大语言模型的联合评分与专家级理解框架,并构建首个专家标注的细粒度美学评估数据集,为视觉美学分析提供可复用的模型与数据基础。
AnyDoc:通过大规模 HTML/CSS 数据合成与高度感知强化优化增强文档生成
AnyDoc: Enhancing Document Generation via Large-Scale HTML/CSS Data Synthesis and Height-Aware Reinforcement Optimization
提出可扩展的 HTML/CSS 文档数据合成管线与高度感知强化学习后训练,为多模态大语言模型在结构化视觉生成任务(如文档渲染、元素到文档)上提供可复用的数据构造与奖励设计思路。
锚点引导的梯度对齐用于不完整多模态学习
Anchor-Guided Gradient Alignment for Incomplete Multimodal Learning
针对视觉语言预训练模型在模态缺失场景下的优化失衡问题,提出以检索重建样本与完整样本共同构成优化锚点来对齐梯度,并设计语义增强适配器生成动态提示;做多模态下游任务(如跨模态检索、VQA)时可直接复用该训练策略提升缺失模态鲁棒性。
Video-LLM 如何回答视频问题的实证研究
An Empirical Study on How Video-LLMs Answer Video Questions
用注意力敲除(temporal/spatial/language-to-video)逐层分析 Video-LLM,揭示视频信息抽取集中在浅层、中间层是关键离群层、时空建模更依赖语言引导的检索而非视频 token 自注意力;这些结论可直接用于剪掉冗余的视频自注意力计算,为 Video-LLM 的推理加速和结构设计提供依据。
殊途同归:激励视觉语言模型中的发散性思维
All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models
对做 VLM 推理增强的人,这篇给出了 GRPO 多样性坍塌的诊断(模型过早收敛到少数推理策略),并提出 MUPO 用多组策略优化维持解空间多样性,可直接替换 GRPO 的训练目标用于多模态推理微调。
对齐视觉语言模型所见与所感:自适应信息流
Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow
提出一种基于词元动态的视觉词元重要性度量,在解码阶段抑制文本词元对无关视觉词元的注意力,可作为即插即用的推理时干预手段,用于提升 VLM 的视觉定位与抗幻觉能力。
Alert-CLIP:面向视频异常检测的异常感知潜在增强 CLIP 表征微调
Alert-CLIP: Abnormality-aware Latent-Enhanced Representation Tuning of CLIP for Video Anomaly Detection
针对 CLIP 文本嵌入空间中正常/异常描述纠缠的问题,提出视频-标签、区域-文本、区域-语义三级对齐微调策略,可直接迁移到任何需要细粒度异常感知的 CLIP 下游任务(如工业缺陷、医学异常筛查)。
Air-Know:仲裁器校准的知识内化鲁棒网络用于组合图像检索
Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval
用 MLLM 作为离线专家构造高精度锚框数据集,再把判别逻辑内化到轻量代理仲裁器中,为视觉-语言检索中处理噪声对应关系提供了可复用的「专家-代理-分流」解耦范式。
应对无源跨域少样本学习中加剧的注意力汇聚问题
Addressing Exacerbated Attention Sink for Source-Free Cross-Domain Few-Shot Learning
揭示了CLIP类VLM在目标域少样本微调时注意力汇聚被加剧、导致类间判别性下降的问题,并给出按token与目标类相关性动态重加权的通用微调策略,可直接用于任何需要把CLIP迁移到新域的少样本适配场景。
适配上下文生成以增强组合图像检索
Adapting In-context Generation for Enhanced Composed Image Retrieval
利用预训练文本到图像模型的上下文生成能力,在少样本下合成无偏的组合图像检索三元组,并通过分布鲁棒合成预训练和细粒度真实世界适配两阶段框架提升检索性能,为视觉-语言检索任务提供可复用的数据增强与微调策略。
AdaptVision:通过自适应视觉获取实现高效视觉语言模型
AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition
把「视觉词元数量」当作可由模型自主决策的动作,用强化学习(DTPO)在粗到细的流程中决定何时调用裁剪工具获取高分辨率区域,为视觉研究者提供了一种按样本自适应分配视觉计算预算、而非固定比例压缩的 VLM 推理范式。
AdaIAT:自适应增强对生成文本的注意力以缓解 LVLM 中的幻觉
AdaIAT: Adaptively Increasing Attention to Generated Text to Alleviate Hallucinations in LVLM
提供了一种无需训练的推理时注意力干预手段:在解码时放大对已生成文本 token 的注意力权重,并按层阈值与注意力头粒度自适应调节,可直接插入 LLaVA 等 LVLM 的解码流程以降低幻觉且不引入重复描述。
主动感知推理:一种受皮层-丘脑启发的动态嵌套循环网络用于不完整数据下的多模态情感分析
Active Perceptual Inference: A Corticothalamic-Inspired Dynamic Nested Recurrent Network for Multimodal Sentiment Analysis with Incomplete Data
提出一种受皮层-丘脑启发的动态嵌套循环网络,通过局部循环补全和全局循环置信度加权,实现从被动补全到主动感知推理的范式转变,可复用于视觉-语言任务中的缺失模态补全与动态融合。
Act2See:面向视频推理的涌现式主动视觉感知
Act2See: Emergent Active Visual Perception for Video Reasoning
把「取帧/生成帧」作为可学习的动作嵌入文本思维链,让 VLM 在推理过程中自主决定何时检索真实帧、何时合成反事实帧;这一「主动视觉感知」范式可直接迁移到需要多步视觉证据获取的视频问答与长视频理解任务。
像病理学家一样思考:组织感知的全切片图像推理
Act Like a Pathologist: Tissue-Aware Whole Slide Image Reasoning
把「问题引导的由粗到细检索」用于超大幅图像(全切片)的视觉语言推理:先用分组采样器定位与问题相关的组织区域,再用图像块选择器挑出信息量最大的图像块,从而把视觉词元减少约 70%。这套「先粗筛区域、再细选图像块」的检索式词元压缩思路,可直接迁移到高分辨率图像或视频的 VLM 推理中,用来降低词元开销并提升可解释性。
面向视觉语言模型空间智能的抽象3D感知
Abstract 3D Perception for Spatial Intelligence in Vision-Language Models
通过抽象边界框将3D几何结构编码给VLM,无需额外训练即可提升空间推理能力,为视觉语言模型中的3D理解提供了一种可复用的零样本增强手段。
AVION:从离线教师到提示微调网络的遥感视觉-语言指令
AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network
用大语言模型生成并经验证筛选的文本原型作为教师信号,蒸馏到视觉-语言双塔的轻量可学习 prompt 中,推理时学生独立运行;这套「离线教师+prompt 微调」范式可直接迁移到其他专业成像域(医学、遥感、工业)的 CLIP 类模型适配。
AVATAR:通过强化学习在视频上看见、听见与推理
AVATAR: Reinforcement Learning to See, Hear, and Reason Over Video
对做视频多模态推理的人,这篇给出了一个可直接复用的强化学习后训练配方:用离策略样本回放缓解 GRPO 的组内奖励同质化(优势消失),并用时序优势塑形把信用集中到规划与综合两端阶段,可迁移到任意视频/音视频 VLM 的 RL 微调流程。
AV-Reasoner:面向多模态大模型的线索锚定音视频计数能力改进与基准构建
AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs
对做视频多模态推理的人,这篇提供了两点可复用:一是用 GRPO + 课程学习把相关任务(如时序定位、事件定位)的能力迁移到计数这类稀疏监督任务上;二是 CG-AV-Counting 的黑盒/白盒双协议评测,可作为检验模型推理链是否真正依赖视觉线索的测试床。
ARM-Thinker:通过智能体工具使用与视觉推理强化多模态生成式奖励模型
ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning
提出了一种可自主调用外部工具(如图像裁剪、文档检索)的多模态奖励模型,通过多阶段强化学习联合优化工具调用决策与判断准确性,为视觉语言模型的奖励建模提供了可验证证据和可解释性,可复用于需要细粒度视觉验证的视觉语言任务。
ARC 是一个视觉问题!
ARC Is a Vision Problem!
把 ARC 的网格谜题当作图像到图像转换任务,用原生 ViT 在「画布」表示上从零训练并在测试时训练中泛化到新任务,为视觉研究者提供了一个用纯视觉范式做抽象推理的可复用设定与基线。
APPO:面向视频推理的注意力引导感知策略优化
APPO: Attention-guided Perception Policy Optimization for Video Reasoning
把强化学习中的组内相对优势换成基于注意力、跨响应聚焦同一关键帧的 token 级稠密奖励,可在无细粒度标注下提升视频多模态模型的感知能力,这套奖励设计可直接迁移到其他视频 VLM 的 RL 后训练流程。
AG-VAS:基于大语言多模态模型的锚点引导零样本视觉异常分割
AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models
通过可学习的语义锚点token([SEG]、[NOR]、[ANO])将抽象异常概念转化为空间定位实体,并设计语义-像素对齐模块(SPAM)与锚点引导掩码解码器(AGMD),为LMM-based零样本分割提供可复用的锚点引导范式。
ADSeeker:面向工业异常检测与推理的知识驱动推理框架
ADSeeker: A Knowledge-Grounded Reasoning Framework for Industry Anomaly Detection and Reasoning
把 MLLM 与图像-文档知识库的检索增强生成(Q2K RAG)结合,用于零样本工业异常检测与推理;其分层稀疏提示词与类型级特征提取思路可迁移到其他需要细粒度缺陷/异常描述的视觉-语言任务。
A3:迈向广告美学评估
A3: Towards Advertising Aesthetic Assessment
论文提出的 A3-Law 分层美学评估范式与思维链引导的多模态大模型训练方法,可迁移至图像美学评估、广告创意生成等视觉任务,为视觉语言模型提供可解释的细粒度评价能力。
面向高效长视频推理的多智能体感知-动作联盟
A Multi-Agent Perception-Action Alliance for Efficient Long Video Reasoning
提出一种多智能体感知-动作探索框架,通过线索引导的块对齐和跨审查机制,高效处理长视频推理,可复用于视频问答和长视频理解任务。
面向多模态大语言模型的更词元化的图像词元化方法
A More Word-like Image Tokenization for MLLMs
DiVT 将图像块嵌入聚类成语义单元,使视觉词元更接近离散词元,并动态调整词元预算,为视觉-语言模型提供了一种不修改编码器与语言模型即可降低视觉词元数量与延迟的即插即用方案。
VLM 与 IRM 的因果联姻:从理解到推理
A Causal Marriage between VLM and IRM from Understanding to Reasoning
把 CLIP 的对比目标在 token 粒度上重新解释为 IRM 的不变性准则,并给出一个无需改结构的中训练方案来注入不变学习信号;做视觉-语言预训练或 OOD 泛化的人可以直接复用这套 token 分解与词表约束 InfoNCE 等价性,以及用不变对齐分数作为 MLLM 强化学习过程奖励的思路。
4DP-QA:面向视觉语言模型 4D 感知的可扩展问答
4DP-QA: Scalable QA for 4D Perception in Vision Language Models
提出 True-Motion Tracking 这一固定参考系下的跟踪表述,把相机运动与物体运动解耦,可直接用于构建视频/4D 场景的 VLM 训练数据与评测基准,缓解 VLM 只能通过 2D 投影间接观察运动的问题。
4D-RGPT:通过感知蒸馏迈向区域级 4D 理解
4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation
把冻结的 4D 专家模型的表征通过感知蒸馏迁移进多模态大模型,为视频 MLLM 注入深度感知与时序动态理解能力;区域级提示的 4D VQA 设定也可直接复用于动态场景的细粒度推理评测。
3D-VCD:通过视觉对比解码缓解3D-LLM具身智能体的幻觉
3D-VCD: Hallucination Mitigation in 3D-LLM Embodied Agents through Visual Contrastive Decoding
把2D视觉对比解码的思路迁移到3D具身场景:在推理时对3D场景图施加类别标签交换、坐标加噪等扰动来构造"负"上下文,从而无需训练即可抑制3D-LLM的幻觉,可直接用于3D视觉语言模型的可靠性提升。
3D-IDE:三维隐式深度涌现
3D-IDE: 3D Implicit Depth Emergent
通过信息瓶颈和几何自监督让MLLM在统一视觉表征中隐式涌现3D感知,推理时无需深度和位姿输入且零延迟开销,为视觉语言模型融合3D信息提供了免外部嫁接的新范式。
φ-DPO:面向大型多模态模型持续学习的公平直接偏好优化方法
$\phi$-DPO: Fairness Direct Preference Optimization Approach to Continual Learning in Large Multimodal Models
提出基于直接偏好优化(DPO)的持续学习范式,并设计 φ-DPO 损失显式处理数据不平衡,可复用于多模态大模型在视觉任务上的持续学习与公平性提升。