Tag · 150 篇
多模态大语言模型
rPPG-VQA:面向无监督rPPG训练的视频质量评估框架
rPPG-VQA: A Video Quality Assessment Framework for Unsupervised rPPG Training
提出面向rPPG训练的视频质量评估框架,结合信号级SNR共识估计与场景级MLLM干扰识别,并利用质量分数进行两阶段自适应采样筛选训练数据,可直接用于提升无监督rPPG模型在野生视频上的训练效果。
Widget2Code:通过多模态大语言模型从视觉控件到 UI 代码
Widget2Code: From Visual Widgets to UI Code via Multimodal LLMs
把「从图像生成结构化代码」当作多模态大模型的细粒度视觉理解任务:用图标检索与 UI 组合模块把原子组件拼成完整布局,可作为视觉到结构化序列生成(而非自由文本)的可复用范式,并提供图像级 UI 重建的细粒度评测协议。
当理解成为风险:新兴图像生成范式中的真实性与安全风险
When Understanding Becomes a Risk: Authenticity and Safety Risks in the Emerging Image Generation Paradigm
论文系统对比了MLLM与扩散模型在生成不安全内容和虚假图像上的安全风险,并揭示现有虚假图像检测器对MLLM生成图像识别困难、且可通过更长描述性输入绕过。对视觉安全研究者而言,这提示需要针对MLLM生成范式设计新的检测与防御方法,并重新评估现有检测器的泛化性。
WOD-E2E:面向挑战性长尾场景端到端驾驶的Waymo开放数据集
WOD-E2E: Waymo Open Dataset for End-to-End Driving in Challenging Long-tail Scenarios
为视觉端到端驾驶提供了聚焦长尾场景的基准与基于人类偏好评分的开放环指标 RFS,可用于评估轨迹预测在罕见场景下的多模态合理性,替代传统距离指标。
Vinedresser3D:迈向智能体式文本引导 3D 编辑
Vinedresser3D: Towards Agentic Text-guided 3D Editing
把 3D 编辑搬到原生 3D 生成模型的潜空间里做,用 MLLM 做编辑意图解析与区域定位、再用 inversion-based rectified-flow 图像修复提供视觉引导,这条「语言代理 + 2D 引导 + 3D 潜空间修复」的流水线可直接迁移到 3D 资产编辑与可控 3D 生成任务。
VideoSSR:视频自监督强化学习
VideoSSR: Video Self-Supervised Reinforcement Learning
提出三种视频自监督前置任务(异常定位、物体计数、时序拼图)来自动生成可验证的训练数据,为视频多模态大模型提供无需人工标注的强化学习训练信号,可直接用于提升视频时序定位与复杂推理能力。
纯视频心智理论:增强多模态大语言模型中的心智理论能力
Video-Only ToM: Enhancing Theory of Mind in Multimodal Large Language Models
提出一种通过计算干预向量来对齐视觉表征与正确语义目标的方法,可引导模型注意力跨层关注视觉特征,减少对语言先验的依赖;该技术可复用于其他需要增强视觉 grounding 的多模态推理任务。
Video-CoE:通过事件链强化视频事件预测
Video-CoE: Reinforcing Video Event Prediction via Chain of Events
论文提出的 Chain of Events 范式通过构建时序事件链来隐式引导 MLLM 关注视觉内容与事件间的逻辑关联,这种将推理链结构嵌入视频时序建模的思路,可迁移到视频问答、动作预测等需要细粒度时序推理的视觉任务中。
VMD-FACT:一个用于检测真实感AI生成视频虚假信息的新视频数据集与基于多模态大语言模型的方法
VMD-FACT: A New Video Dataset and MLLM-based method for Detecting Realistic AI-Generated Video Misinformation
该工作提出的RAVM数据集和IEEG模型为检测AI生成视频虚假信息提供了新基准和可解释方法,视觉研究者可借鉴其证据图构建和跨模态一致性分析思路,用于视频真实性验证和多模态推理任务。
VCU-Bridge:通过语义桥接的层次化视觉内涵理解
VCU-Bridge: Hierarchical Visual Connotation Understanding via Semantic Bridging
提出层次化视觉内涵理解框架和HVCU-Bench基准,用于诊断MLLM从低层感知到高层推理的因果依赖;其MCTS引导的数据生成流程可复用于构建其他需要显式推理链的视觉语言指令微调数据。
拆解嵌合体:视频幻觉的帧级风险与免训练缓解
Unstitching the Chimera: Frame-Level Risk and Train-Free Mitigation for Video Hallucination
提出帧级无参考风险指标 CH-Risk 和免训练两阶段干预 CH-M,可直接用于视频 MLLM 的幻觉检测与缓解,其注意力路由和词元校准思路可迁移到其他多模态生成任务。
通过由粗到细语言引导的通用三维形状匹配
Universal 3D Shape Matching via Coarse-to-Fine Language Guidance
把类无关三维分割得到的部件与 MLLM/VLM 的文本嵌入对齐,用语言作为跨类别形状的语义桥梁,再以基于排名的对比学习把粗粒度部件匹配细化为稠密对应,可直接迁移到跨类别非等距形状配准、纹理/属性迁移等任务。
UniGen-1.5:通过强化学习中的奖励统一增强图像生成与编辑
UniGen-1.5: Enhancing Image Generation and Editing through Reward Unification in RL
用共享奖励模型把图像生成与编辑的 RL 训练统一起来,并先做轻量编辑指令对齐再上 RL,这套「先对齐指令、再统一奖励」的流程可直接迁移到其他统一生成/编辑模型的训练中。
UniChange:以多模态大语言模型统一变化检测
UniChange: Unifying Change Detection with Multimodal Large Language Model
用 MLLM 的语言先验与特殊 token([T1]/[T2]/[CHANGE])嵌入作为查询,把二值变化检测与语义变化检测统一进一个生成式框架,并用文本提示替代预定义分类头以兼容类别定义冲突的多源数据,为遥感变化检测提供可复用的统一建模范式。
TriDF:面向可解释深度伪造检测的感知、检测与幻觉评测基准
TriDF: Evaluating Perception, Detection, and Hallucination for Interpretable DeepFake Detection
把「感知证据定位—分类检测—解释可靠性」三者放进同一评测框架,并给出人工标注的细粒度伪造证据,可直接用于诊断多模态大模型在伪造检测中「看对了才判对」的因果链,也为设计带证据输出的检测器提供监督信号与评价协议。
基于细粒度对象绑定与自适应混合提示词的训练无关开放词表伪装目标分割
Training-Free Open-Vocabulary Camouflaged Object Segmentation via Fine-Grained Object Binding and Adaptive Hybrid Prompt
提出训练无关的开放词表伪装目标分割框架,利用MLLM生成细粒度文本描述,并通过语义探针和语义一致性排序实现视觉块与类别的精确绑定,结合熵引导的文本嵌入调整和自适应混合提示词生成,为SAM提供更准确的提示,可复用于其他开放词表分割任务。
面向流式指代视频分割的大语言模型方法
Towards Streaming Referring Video Segmentation via Large Language Model
把图像级指代分割模型通过语义嵌入复用与在线掩码一致性感知扩展成流式视频分割,无需额外参数即可在单卡上以 7 FPS 流式推理,为实时指代视频分割与 MLLM 的在线部署提供可复用范式。
面向鲁棒多模态大语言模型的越狱攻击防御
Towards Robust Multimodal Large Language Models Against Jailbreak Attacks
对做多模态大模型安全的研究者,这篇提供了可复用的对抗训练循环:用对比目标在词元嵌入空间优化出对抗扰动(CoE-Attack),再更新模型参数中和扰动,可作为白盒越狱防御的基线方案。
面向真实世界文档解析:逼真场景合成与文档感知训练
Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training
对做文档/图表类视觉理解的人,这篇提供了可复用的思路:用布局模板+文档元素合成大规模全页端到端监督数据,配合渐进式学习与结构 token 优化来抑制 MLLM 的重复与幻觉输出;Wild-OmniDocBench 也可直接用于评测随手拍文档的鲁棒性。
Token 化使多模态大语言模型能够理解、生成与编辑建筑平面图
Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans
把房间实例离散化为 token 并入语言模型词表,使 MLLM 能像生成文本一样自回归地生成与编辑结构化布局;这套「实例级离散 token + 多模态对齐」的做法可迁移到任何需要输出结构化几何(场景图、矢量图元、版面)的视觉生成任务。
TimeLens:重新审视多模态大语言模型的视频时序定位
TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs
对做视频-语言理解的人,这篇给出了把 MLLM 训练成强时序定位器的完整配方:交错文本时间编码、免思维链的 RLVR 训练范式,以及一套可复用的高质量重标注流程与修正后的评测基准,可直接用于重训或重评自己的时序定位模型。
以草稿思考:面向高效长视频理解的推测式时序推理
Thinking with Drafts: Speculative Temporal Reasoning for Efficient Long Video Understanding
把「草稿模型快速提议关键帧 + 目标模型验证并迭代精化」的推测式双模型协作引入 thinking-with-frames 流程,可直接用于降低长视频 MLLM 推理中冗余多模态上下文的开销,其帧级证据标注与 RL 训练范式也可迁移到其他需要稀疏帧采样的视频推理任务。
ThinkGen:面向视觉生成的泛化思维
ThinkGen: Generalized Thinking for Visual Generation
把 MLLM 的思维链推理作为扩散生成的指令来源,并用可分离的 GRPO 交替训练 MLLM 与 DiT,为视觉生成提供了一条可跨场景泛化的「先推理后生成」训练范式,可直接迁移到文生图、指令式编辑等条件生成任务。
先验的力量:基于LLaVA的免训练开放词表语义分割
The Power of Prior: Training-Free Open-Vocabulary Semantic Segmentation with LLaVA
利用LLaVA内部层产生的局部化特征作为免训练开放词表分割的像素级激活,并生成视觉提示引导SAM,为无需微调即可复用MLLM空间先验提供了可操作路径。
连贯性陷阱:当多模态大语言模型构建的叙事利用被操纵的视觉上下文
The Coherence Trap: When MLLM-Crafted Narratives Exploit Manipulated Visual Contexts
提出利用MLLM生成语义连贯的虚假图文对来构建对抗数据集,并设计伪影感知编码与操作导向推理框架,为检测MLLM驱动的多模态虚假信息提供了可复用的数据生成与检测思路。
Texvent:基于文本提示的异步事件数据仿真
Texvent: Asynchronous Event Data Simulation via Text Prompt
用多模态大模型按文本提示渲染视频,再经物理仿真器转成异步事件流,为事件相机视觉任务提供低成本、可扩展的合成数据管线;其中自适应亮度感知帧插值与基于缓存的电压刷新机制可直接复用于事件数据增广与仿真器改进。
通过对话式属性挖掘解决行人检索中的对齐歧义
Tackling Alignment Ambiguity in Person Retrieval through Conversational Attribute Mining
用 MLLM 生成对话式属性描述来补充文本侧细粒度线索,并用双向交叉注意力混合器做 token 级对齐,这一「对话属性挖掘 + token 对齐」思路可迁移到任何细粒度图文检索或跨模态 grounding 任务。
StaR-KVQA:面向隐式知识视觉问答的结构化推理链
StaR-KVQA: Structured Reasoning Traces for Implicit-Knowledge Visual Question Answering
对做VQA/多模态推理的人,可复用其「符号关系路径+路径锚定自然语言解释」的双路推理链构造与离线数据筛选流程,把答案监督升级为结构感知的自蒸馏,无需外部检索器即可在单次自回归推理中提升可解释性与准确率。
Skyra:基于接地伪影推理的AI生成视频检测
Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning
提出基于多模态大语言模型的伪影定位与推理框架,可复用于其他可解释视觉检测任务;构建的细粒度伪影标注数据集与基准为后续研究提供评测基础。
SketchRevive:扩散先验引导多模态大语言模型的细粒度像素到矢量草图补全
SketchRevive: Fine-Grained Pixel-to-Vector Sketch Completion with Diffusion-Prior-Guided Multimodal LLMs
把扩散模型的多尺度 UNet 特征与线条预测 logits 注入 MLLM 视觉嵌入并做词元压缩,这一「扩散先验聚合编码」思路可迁移到任何需要把像素级生成先验喂给多模态大模型的图像编辑/矢量化任务。
基于可解释潜变量奖励的自纠正图像生成
Self-Corrected Image Generation with Explainable Latent Rewards
把不可微的图像级评价(MLLM 打分)通过可微映射转成潜变量空间的连续奖励梯度,再用轻量 corrector 在采样过程中修正潜变量——这套「潜变量奖励 + 自纠正」机制可直接迁移到任何 diffusion/flow 采样器的对齐微调或测试时优化中。
看见即改进:用于迭代文本布局精修的视觉反馈
Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement
把渲染后的图像作为反馈信号,通过带 OCR 准确率奖励的强化学习驱动 MLLM 迭代自我修正,这一「渲染-评估-重生成」闭环可直接迁移到任何需要视觉结果校验的生成式设计任务(如海报排版、UI 生成、图文合成)。
超越 8 比特:HDR-UGC 视频的主客观质量评估
Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos
提供了 HDR-UGC 主观质量数据集与 HDR 感知视觉编码器,可复用于任何需要高动态范围输入的感知模型;HAPO 的 HDR-SDR 对比 KL 与高斯加权回归奖励,是把 RL 微调锚定到特定成像线索上的可迁移范式。
See What I Mean:对齐视觉与语言表示用于视频细粒度物体理解
See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding
通过训练时使用掩码监督来对齐视觉与语言表示,使多模态大语言模型在推理时仅凭文本提示即可自动关注用户指定的物体,为细粒度物体理解提供了一种无需视觉提示的跨模态注意力对齐方法。
相同内容,不同答案:多模态大语言模型中的跨模态不一致性
Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs
该论文提出的REST/REST+基准可用于系统评估多模态大语言模型的跨模态一致性,其发现视觉特征(文本颜色、分辨率)和视觉token数量影响模型性能,为设计更鲁棒的视觉语言模型提供了可复用的评测方法和分析视角。
ST4R-Splat:4D 高斯泼溅中的时空指代分割
ST4R-Splat: Spatio-Temporal Referring Segmentation in 4D Gaussian Splatting
将指代分割从静态 3D 扩展到动态 4D 高斯泼溅,提出时间不变实例嵌入与实例级时序状态映射,可直接用于语言驱动的 4D 场景理解与编辑。
SPOT:面向运动稳定 MLLM 引导视频分割的时空提示词优化
SPOT: Spatiotemporal Prompt Optimization for Motion-Stabilized MLLM-Guided Video Segmentation
提出一种仅通过约束 MLLM 输出行为(布朗桥损失和几何感知提示词质量损失)来提升视频分割时序一致性的方法,无需视频预训练或架构修改,为利用静态图像训练的视觉基础模型处理动态视频任务提供了可复用的正则化思路。
SARL-STG:用于精炼多模态大语言模型时空视频定位的空间感知强化学习框架
SARL-STG: A Spatially Aware Reinforcement Learning Framework for Refining MLLMs in Spatio-Temporal Video Grounding
把开放词表检测器的空间定位质量作为强化学习奖励信号,反向驱动 MLLM 的时序推理,为视觉语言模型在视频定位任务中提供了一种可复用的「空间反馈时序」训练范式。
S$^2$-MLLM:以结构引导提升多模态大语言模型空间推理能力用于3D视觉定位
S$^2$-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance
用前馈三维重建的结构感知作为隐式空间引导,替代逐视角点云渲染,让 MLLM 在不重建点云的情况下获得 3D 空间推理能力;其 intra/inter-view 注意力加多级位置编码的结构增强模块可直接迁移到任何需要把多视角 2D 特征对齐到 3D 空间的 VLM 任务。
Role-SynthCLIP:一种角色扮演驱动的多样化合成数据方法
Role-SynthCLIP: A Role-Play Driven Diverse Synthetic Data Approach
用多视角角色扮演提示驱动 MLLM 为同一张图生成互补字幕,在固定图像数量下提升图文对的语义多样性,可直接复用于 CLIP 类模型的预训练数据构造与细粒度对齐。
RetouchIQ:基于通用奖励的MLLM智能体用于指令式图像修饰
RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward
提出用强化学习微调的多模态大语言模型作为通用奖励模型,为基于指令的图像编辑提供可验证的奖励信号,可复用于其他需要主观评价的生成任务(如风格化、美学优化)。
重新审视 MLLM 自身作为分割器:仅用一个分割嵌入
Rethinking MLLM Itself as a Segmenter with a Single Segmentation Token
对做分割的研究者,这篇给出了一个可复用的思路:把 MLLM 的压缩图像特征与原始分辨率残差特征融合,并用像素反洗牌放大细节,再通过双通路注意力掩码让单个分割 token 直接输出掩码,从而省掉 specialist mask decoder。
强化结构化思维链以提升视频理解
Reinforcing Structured Chain-of-Thought for Video Understanding
提出无需 SFT 的单阶段强化学习框架 SDRL,用「总结-思考-回答」结构化思维链和两个自监督机制(CVK 约束视觉事实一致性、DVR 按组准确率调节推理多样性)来抑制视频推理中的思维漂移;做视频 MLLM 推理增强的工作可直接复用该 GRPO 目标改造思路。
基于推理驱动的图像级监督异常检测与定位
Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision
利用MLLM自回归推理过程中的注意力响应生成像素级异常图,仅需图像级监督,为视觉异常检测提供无需密集标注的新范式。
面向不配对测试时分布外文本-图像到视频生成的推理扩散模型
Reasoning Diffusion for Unpaired Test Time Out-of-distribution Text-Image to Video Generation
ReasonDiff 利用多模态 LLM 为不配对文本-图像输入生成逐帧叙事,并通过 AlignFormer 的多阶段时序锚框注意力预测帧级潜变量,为视频扩散模型提供结构化引导,可复用于需要跨模态时序推理的视频生成任务。
ReasonX:多模态大语言模型引导的本征图像分解
ReasonX: MLLM-Guided Intrinsic Image Decomposition
把多模态大语言模型当作感知评判器,用其输出的相对本征比较构造 GRPO 奖励,从而在无标注真实图像上微调本征分解模型;这一「MLLM 比较式监督」范式可迁移到深度、法线、反照率等任何可定义成对关系的稠密预测任务上。
ReasonMap:迈向基于交通地图的细粒度视觉推理
ReasonMap: Towards Fine-Grained Visual Reasoning from Transit Maps
ReasonMap 提供了一个需要细粒度视觉理解与空间推理的基准,可用于评估和诊断 MLLM 在视觉接地上的不足;其视觉掩码分析和强化微调基线为改进多模态模型的视觉推理能力提供了可复用的评测与训练思路。
ReasonEdit:面向推理增强的图像编辑模型
ReasonEdit: Towards Reasoning-Enhanced Image Editing Models
把冻结的 MLLM 编码器解锁为可推理模块,用「思考—编辑—反思」循环让模型理解抽象指令并自动纠错,为指令式编辑提供了一条不依赖更多配对数据、而靠推理提升精度的可复用范式。
ReCALL:为基于多模态大模型的组合图像检索重新校准能力退化
ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval
把生成式 MLLM 适配为判别式检索器时会出现细粒度推理能力退化,ReCALL 用「自引导难例挖掘 + MLLM 生成纠正指令与三元组 + 分组对比持续训练」的 diagnose-generate-refine 流程把退化能力拉回来;做多模态检索或把 MLLM 蒸馏成嵌入模型的工作可直接复用这套自举数据生成与一致性过滤机制。
ReAG:面向知识型视觉问答的推理增强生成
ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering
对做视觉语言模型的人,这篇给出了一个可复用的多模态 RAG 流程:粗粒度+细粒度两阶段检索、critic 模型过滤噪声段落、再用强化学习让模型对检索内容做推理,可直接迁移到需要外部知识的 VQA 或 captioning 场景。
RAGTrack:基于检索增强生成的语言感知RGBT跟踪
RAGTrack: Language-aware RGBT Tracking with Retrieval-Augmented Generation
将检索增强生成(RAG)引入RGB-T跟踪,利用MLLM自动生成文本描述并构建动态知识库,通过时序语言推理增强目标建模,为多模态跟踪中的外观变化和背景干扰问题提供了可复用的语言引导思路。
PromptLoop:基于潜变量反馈的即插即用提示词精炼框架,用于扩散模型对齐
PromptLoop: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment
把提示词精炼做成逐步闭环的 RL 策略:用 MLLM 读取扩散模型中间潜变量并逐步改写提示词,从而在不改权重的前提下实现奖励对齐,可直接迁移到文生图/编辑的偏好优化与少步采样场景。
面向多模态虚假信息检测的概率概念图推理
Probabilistic Concept Graph Reasoning for Multimodal Misinformation Detection
把多模态虚假信息检测重构为「概念图构建 + 图上的层次化注意力推理」,并用 MLLM 自动发现与验证高层概念节点,这条「先建图后推理」的范式可迁移到需要可解释证据链的图文一致性判断任务(如图文匹配、事实核查、caption 幻觉检测)。
多模态大语言模型中对抗视觉表征退化的预测正则化
Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models
提出预测正则化(PRe)强制中间层退化视觉特征预测初始视觉特征,为提升MLLM内部视觉表征质量提供可复用训练策略,可缓解语言驱动训练导致的视觉保真度下降。
PosterReward:为高质量平面设计生成解锁准确评估
PosterReward: Unlocking Accurate Evaluation for High-Quality Graphic Design Generation
为文生图模型提供针对海报设计的细粒度奖励信号,可用于生成后筛选或作为强化学习/偏好优化(如 RLHF、DPO)的奖励函数,弥补现有美学奖励模型忽略排版与文字准确性的缺陷。
Pixel2Phys:从视觉动力学中蒸馏支配性物理定律
Pixel2Phys: Distilling Governing Laws from Visual Dynamics
把 MLLM 作为假设生成与验证的推理引擎,从原始视频像素中迭代提炼低维物理变量与可解释控制方程;对做视频理解与物理常识建模的研究者,这提供了一条「视觉观测→符号化动力学」的可复用管线,也可作为评估视频模型是否真正理解动力学的探针。
以解析概念为铰链物体操作物理定位常识知识
Physically Ground Commonsense Knowledge for Articulated Object Manipulation with Analytic Concepts
把 MLLM 输出的语义常识通过可计算、可仿真的解析概念(数学符号化定义)落到物理表示上,再驱动操作策略;对做视觉-语言-动作(VLA)与具身操作的研究者,这是一种把语义先验转成物理约束的可复用中间表示思路。
PSDesigner:具备类人创意工作流的自动化平面设计
PSDesigner: Automated Graphic Design with a Human-Like Creative Workflow
把图形设计建模为 MLLM 驱动的工具调用序列,在可编辑 PSD 文件上做资产检索、插入与元素精修;其 CreativePSD 数据集(带操作轨迹的 PSD 文件)可作为视觉研究者研究「可编辑分层图像生成/编辑」与「指令到操作序列」的监督来源。
OpenVoxel:面向开放词表三维场景理解的免训练体素分组与描述生成
OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding
对做开放词表 3D 场景理解的视觉研究者,这篇论文提供了一条免训练路径:直接在稀疏体素光栅化(SVR)模型的分组结果上,用 MLLM 做文本到文本检索,替代 CLIP/BERT 文本嵌入,可复用于 OVS/RES 等 3D 任务。
OmniVTG:面向开放世界视频时序定位的大规模数据集与训练范式
OmniVTG: A Large-Scale Dataset and Training Paradigm for Open-World Video Temporal Grounding
提出自校正思维链训练范式,让多模态大模型先预测再反思修正,可迁移到其他需要精确定位的视觉语言任务;同时发布大规模开放世界视频时序定位数据集,为后续研究提供基准。
OmniGround:面向真实复杂场景的综合时空视觉定位基准
OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios
STVG 被拆成「高层时序定位 + 细粒度时空传播」两阶段且免训练,可直接套用到现有多模态大模型上做视频目标定位,无需微调即可提升小目标与遮挡场景的 m_tIoU/m_vIoU。
Omni-Attack:黑盒多模态大语言模型中开放端视觉问答的对抗攻击
Omni-Attack: Adversarial Attacks on Open-Ended VQA in Black-Box Multimodal LLMs
针对开放端视觉问答的黑盒迁移攻击方法,其目标构建流程和位置感知扰动策略可被复用于评估和提升多模态大模型的对抗鲁棒性。
Octopus:面向多模态大语言模型持续学习的无历史梯度正交化
Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models
为视觉-语言模型的多任务顺序微调提供了一种无需存储历史数据的梯度正交化约束,可直接用于缓解 MLLM 在连续下游视觉任务(如 VQA、captioning)微调时的灾难性遗忘。
OSPO:面向文本到图像生成的以物体为中心的自改进偏好优化
OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation
把偏好优化从整图级细化到物体级:用注意力图导出物体掩码,构造物体级偏好对并施加物体加权 SimPO 损失,可直接迁移到任何统一多模态理解-生成模型的细粒度对齐后训练中。
无需真实异常:多模态大语言模型赋能的零样本视频异常检测
No Need For Real Anomaly: MLLM Empowered Zero-Shot Video Anomaly Detection
利用多模态大语言模型和伪异常采样器实现零样本视频异常检测,为开放世界场景下的异常理解提供了无需真实异常数据的训练范式;基于反向注意力的词元压缩方法可复用于降低时空稀疏模式的计算开销。
面向多模态社交交互的多说话人注意力对齐
Multi-speaker Attention Alignment for Multimodal Social Interaction
针对多说话人视频场景中视觉 token 与文本 token 缺乏说话人一致对齐的问题,提出无需训练参数、无需改架构的注意力偏置注入方案:先动态选出负责视觉 grounding 的注意力头,再用说话人位置与现有注意力图计算社交感知偏置,直接加进注意力机制。做视频 VLM、多模态 grounding 或注意力分析的工作可直接复用这套「检测头选择 + 位置先验偏置」的免训练增强思路。
Multi-SpatialMLLM:面向多模态大语言模型的多帧空间理解
Multi-SpatialMLLM: Multi-Frame Spatial Understanding with Multi-Modal Large Language Models
把深度、跨帧对应、动态感知等基础空间技能统一进 MLLM 训练,并用 2700 万级 3D/4D 数据管线与统一指标基准评测多帧空间推理,可直接复用于机器人多帧奖励标注与具身感知。
ModularAgent:面向多模态大语言模型与世界模型联合优化的任务感知模块化框架
ModularAgent: A Task-Aware Modular Framework for Joint Optimization of Multimodal Large Language Models and World Models
把 MLLM 的语义表征注入世界模型潜空间、再用世界模型生成的稠密文本条件奖励反向精炼 MLLM 语义空间的双向耦合机制,可为视觉研究者提供一种将视觉动态预测与语言语义先验联合训练的可复用范式,尤其适用于需要多任务与跨环境泛化的具身视觉策略学习。
MoDES:通过动态专家跳过加速混合专家多模态大语言模型
MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping
MoDES 提供了一种免训练的专家跳过框架,可直接用于加速基于 MoE 的多模态大语言模型(如 Qwen3-VL-MoE)的视觉语言推理,通过全局调制局部门控和双模态阈值化,在跳过 88% 专家时仍保持甚至提升精度,并显著减少预填充和解码时间,为视觉研究者部署高效 MLLM 提供了可复用的技术手段。
Merge3D:通过联合2D-3D词元合并实现高效3D多模态大语言模型
Merge3D: Efficient 3D Multimodal LLMs via Joint 2D-3D Token Merging
提出一种几何感知的词元合并框架,利用2D注意力选择语义显著词元,并结合2D+3D混合相似度聚合空间邻域上下文,可在激进压缩下保留3D结构先验与帧间对应关系,为多视图3D场景理解中的视觉词元冗余问题提供可复用方案。
MedTVT-R1:赋能医学推理与诊断的多模态大语言模型
MedTVT-R1: A Multimodal LLM Empowering Medical Reasoning and Diagnosis
模态感知层对异构模态(影像、生理信号、文本)做自适应加权融合,配合 GRPO 强化微调与 Jaccard 奖励,可直接迁移到需要多源视觉证据联合推理的医学 VQA 与报告生成任务。
MedMO:面向医学图像的多模态大语言模型视觉定位与理解
MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images
MedMO 的多阶段训练配方(跨模态预训练对齐异构视觉编码器、多任务指令微调、带 GIoU 框级奖励的强化学习)为医学视觉-语言模型提供了可复用的训练范式,尤其其框级 GIoU 奖励可直接用于提升视觉定位任务的空间推理能力。
MMR-AD:面向多模态大语言模型通用异常检测基准的大规模多模态数据集
MMR-AD: A Large-Scale Multimodal Dataset for Benchmarking General Anomaly Detection with Multimodal Large Language Models
提供了一个面向多模态大语言模型通用异常检测的大规模训练与评测基准,并给出基于思维链和强化学习的基线模型 Anomaly-R1,可作为视觉研究者探索 MLLM 在工业异常检测中后训练与推理增强的起点。
MLLMSplat:一个由2D多模态大语言模型驱动的3D高斯泼溅理解、生成与编辑框架
MLLMSplat: A 2D MLLM-Powered Framework for 3D Gaussian Splatting Understanding, Generation, and Editing
将2D多模态大语言模型(MLLM)通过3DGS分词器和去分词器适配到3D高斯泼溅场景,实现无需训练的3DGS理解、高质量生成和高效编辑,为3D场景的跨模态处理提供了新范式。
MERLIN:构建面向电磁信号的低信噪比鲁棒多模态大语言模型
MERLIN: Building Low-SNR Robust Multimodal LLMs for Electromagnetic Signals
论文提出的低信噪比鲁棒训练框架与信号-文本对齐方法,可迁移到视觉-语言模型在噪声图像或低质量视觉信号下的鲁棒性增强,其构建的大规模信号-文本数据集与基准也为多模态预训练提供了新范式。
MASQuant:面向多模态大模型的模态感知平滑量化
MASQuant: Modality-Aware Smoothing Quantization for Multimodal Large Language Models
为多模态大模型(视觉-语言)提供可直接套用的训练后量化方案:按模态分别学习平滑因子,并用 SVD 白化把跨模态激活差异压成低秩,从而在视觉 token 与文本 token 分布差异大时仍能统一量化,适合需要把 VLM 部署到低比特推理的场景。
MAD:面向多模态大语言模型跨模态幻觉缓解的模态自适应解码
MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models
对做多模态大模型推理的人来说,这是一种免训练的解码期干预手段:用模型自评估得到的模态相关性概率去加权各模态的对比解码分支,可直接套用到任意音视频/视觉语言模型的推理流程中抑制跨模态幻觉,无需重训。
LookasideVLN:方向感知的空中视觉与语言导航
LookasideVLN: Direction-Aware Aerial Vision-and-Language Navigation
将自然语言中的方向线索(如“左转”“前方”)编码为图结构,并与多模态大语言模型对齐用于路径规划,为视觉语言导航提供了一种轻量且可解释的空间推理范式。
LongVideo-R1:面向低成本长视频理解的智能导航
LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding
把长视频问答建模为「由粗到细的主动片段导航」:用层级视觉摘要作为推理起点,让 MLLM 智能体逐步定位信息量最大的片段,并在信息足够时提前停止,从而在低算力预算下完成长视频理解;其两阶段 SFT+RL 训练与奖励设计可直接迁移到其他需要选择性采样的视觉-语言任务。
Lenses:迈向多义视觉-语言理解
Lenses: Toward Polysemous Vision-Language Understanding
把「图像多义性」显式建模为可学习的 lens token 加多提示嵌入,并用 lens-masking 相似度做检索,为视觉-语言检索/描述任务提供了一个可复用的多视角对齐范式,也提示现有 VLM 评测存在字面语义偏置。
学会聚焦与精确裁剪:面向多模态大语言模型的信息差与视觉定位损失强化学习框架
Learning to Focus and Precise Cropping:A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs
针对多模态大模型在裁剪区域上「看了却没用」的问题,用信息差机制(降低全局图粒度以制造信息增益)配合少量边界框的 grounding loss 做两阶段强化学习,可复用于任何需要模型真正依赖局部细节的高分辨率 VQA / 细粒度感知流程。
学会适应:通过认知感知探索实现自我改进的网页智能体
Learning to Adapt: Self-Improving Web Agent via Cognitive-Aware Exploration
对视觉研究者而言,可复用之处在于把 Selector/Predictor/Judger 三角色对抗式自探索与 SCALE-Hop 图探索结合,用于在无专家轨迹条件下自动挖掘 MLLM 智能体的能力边界;这套自改进回路可迁移到需要视觉观测的 GUI/具身导航智能体训练中。
KVSmooth:通过键值平滑缓解多模态大语言模型中的幻觉
KVSmooth: Mitigating Hallucination in Multi-modal Large Language Models through Key-Value Smoothing
提出一种免训练、即插即用的推理时方法,通过对 KV-Cache 中的键和值施加指数移动平均(EMA)平滑,并利用注意力熵动态调节平滑强度,来缓解多模态大语言模型在解码过程中的语义漂移和幻觉。该方法可直接集成到现有 MLLM 的推理流程中,无需重新训练或修改模型结构,为视觉-语言生成任务提供了一种高效的后处理手段。
InterRVOS:交互感知的指代视频目标分割
InterRVOS: Interaction-Aware Referring Video Object Segmentation
将交互关系显式建模引入指代视频目标分割,要求分别分割动作执行者与目标对象,并设计了交互感知特殊 token 与注意力掩码损失;对做视频理解、指代分割和多模态推理的研究者,提供了可复用的角色区分分割范式与配套数据集。
用于图像复原的混合智能体
Hybrid Agents for Image Restoration
将多模态大语言模型与轻量级LLM结合为快慢双智能体,通过指令微调与上下文学习实现图像复原任务的自动工具调用与混合退化去除,为构建可交互、自适应的复原系统提供了可复用的智能体框架。
拥抱视觉提示与分割令牌:多模态大语言模型中用于细粒度视觉理解的一致性学习
Hugging Visual Prompt and Segmentation Tokens: Consistency Learning for Fine-Grained Visual Understanding in MLLMs
该论文提出的一致性学习损失和两阶段训练框架,可复用于其他需要联合优化视觉提示与分割令牌的多模态任务,为细粒度视觉理解提供了一种通用的训练策略。
如何拍出令人难忘的照片?以可执行反馈赋能用户
How to Take a Memorable Picture? Empowering Users with Actionable Feedback
把 MLLM 的内部激活沿「由低到高记忆性」的教师轨迹做免训练引导,使其输出可执行的拍摄建议;这套 teacher-student steering 思路可直接迁移到其他需要让 VLM 给出可操作建议的视觉任务(如构图、光照、美学反馈)。
听见你在哪:用视觉与空间声音教大语言模型空间推理
Hear you are: Teaching LLMs Spatial Reasoning with Vision and Spatial Sound
把双耳空间音频作为额外输入通道接入大语言模型,为视觉问答提供声源方位线索;当语义对应缺失或存在多个语义匹配时,空间对齐可作为消歧依据,这一设定可直接迁移到机器人听觉定位、视频中的声源定位与多模态推理任务。
HAMMER:通过跨模态集成利用多模态大语言模型实现意图驱动的 3D 可供性定位
HAMMER: Harnessing MLLMs via Cross-Modal Integration for Intention-Driven 3D Affordance Grounding
利用多模态大语言模型(MLLM)的语义推理能力,将参考图像中的交互意图编码为接触感知嵌入,并通过分层跨模态融合与多粒度几何提升实现 3D 可供性定位,为 3D 场景理解提供新思路。
以对比信号引导基于扩散的重建以获得均衡的视觉表征
Guiding Diffusion-based Reconstruction with Contrastive Signals for Balanced Visual Representation
把对比信号注入以 CLIP 视觉 token 为条件的扩散重建过程,并用重建图像而非原图产生对比监督,从而在统一目标下同时提升判别性与细节感知能力;这一「重建+对比」联合优化思路可直接迁移到任何需要增强视觉编码器表征的 VLM 流程中。
为多模态大语言模型将一切定位到 token 中
Grounding Everything in Tokens for Multimodal Large Language Models
GETok 将二维空间定位转化为可学习的网格 token 与偏移 token 的序列预测,为 MLLM 在原生自回归框架下实现精确的 2D 视觉定位提供了可复用的 token 化方案,可直接用于指代检测、视觉定位等任务。
GroundVTS:多模态大语言模型中的视觉词元采样用于视频时序定位
GroundVTS: Visual Token Sampling in Multimodal Large Language Models for Video Temporal Grounding
提出查询引导的视觉词元采样机制,在输入LLM前过滤冗余视觉词元,可复用于其他视频-语言任务(如视频问答、时刻检索)以提升时序建模效率。
Granulon:以自适应多粒度语义唤醒像素级视觉编码器,服务多模态大语言模型
Granulon: Awakening Pixel-Level Visual Encoders with Adaptive Multi-Granularity Semantics for MLLM
用文本条件动态控制视觉编码器的抽象粒度,并通过粒度引导的池化与关系聚类生成紧凑视觉词元,为多模态大模型中的细粒度视觉理解提供可复用方案。
GeoViS:面向遥感视觉定位的地理空间奖励视觉搜索
GeoViS: Geospatially Rewarded Visual Search for Remote Sensing Visual Grounding
把视觉定位从单步预测改成树结构逐步搜索+奖励引导的推理过程,这个「搜索-推理」范式可以直接迁移到小目标、大场景的开放词表定位任务上,尤其是需要多跳空间关系推理的场景。
GeoTikzBridge:推进面向几何感知与推理的多模态代码生成
GeoTikzBridge: Advancing Multimodal Code Generation for Geometric Perception and Reasoning
通过生成 TikZ 代码作为中间表示来增强 MLLM 的细粒度几何感知,这种「代码即表示」的思路可迁移到需要精确几何输出的视觉任务(如场景图生成、CAD 重建),也可作为即插即用的推理模块提升几何问题求解。
生成、分析与精修:基于多模态大模型元推理的免训练声源定位
Generate, Analyze, and Refine: Training-Free Sound Source Localization via MLLM Meta-Reasoning
把 MLLM 的推理能力当作免训练的音视频一致性判别器:用开放集角色标注加锚框投票量化音视频一致性,再用自适应门控决定是否修正框,这套「生成-分析-精修」流程可直接迁移到其他需要跨模态验证的定位任务(如指代定位、开放词表检测的后处理)。
GenSplat:弥合 3DGS 语言理解中的泛化差距
GenSplat: Bridging the Generalization Gap in 3DGS Language Comprehension
把自由形式语言查询对齐到 3D 高斯表示上,用渐进式课程学习加 MLLM 语义/空间先验做 3D 定位与推理,可直接迁移到 3DGS 场景的开放词表分割、指代定位与 3D VQA 等下游任务。
GA-VLN:面向高效视觉语言导航的几何感知鸟瞰图表示
GA-VLN: Geometry-Aware BEV Representation for Efficient Vision-Language Navigation
将RGB-D输入投影到鸟瞰图空间并融合3D基础模型先验,为MLLM提供紧凑且几何一致的空间表示,可复用于需要高效空间推理的视觉语言任务。
G-MIXER:基于测地线混合的隐式语义扩展与显式语义重排序用于零样本组合图像检索
G-MIXER: Geodesic Mixup-based Implicit Semantic Expansion and Explicit Semantic Re-ranking for Zero-Shot Composed Image Retrieval
对做视觉-语言检索的人,这篇给出了一个免训练范式:用测地线插值在参考图特征与文本特征之间按多个混合比例生成组合查询,从而显式建模查询的隐式语义并扩大候选多样性,再用 MLLM 生成的显式描述做重排序;这套「隐式扩展+显式重排」的两阶段思路可直接迁移到其他跨模态检索与组合式查询任务。
FusionAgent:面向人体识别的动态模型选择多模态智能体
FusionAgent: A Multimodal Agent with Dynamic Model Selection for Human Recognition
把每个生物特征专家模型当作可调用工具,用 MLLM 智能体配合指标驱动的强化微调,为每个测试样本动态选择模型组合,并用基于锚点的置信度 Top-k 融合解决分数错位与嵌入异质性问题;这套「动态模型选择 + 置信度感知融合」思路可直接迁移到多模态或多模型集成的视觉识别系统。
FoleyDesigner:面向电影片段的沉浸式立体声拟音生成与精确时空对齐
FoleyDesigner: Immersive Stereo Foley Generation with Precise Spatio-Temporal Alignment for Film Clips
论文将视频帧的时空线索作为条件输入潜变量扩散模型,实现与画面精确对齐的立体声拟音生成,其多智能体分析架构和时空条件注入方式可迁移到视频到音频生成、音视觉对齐等跨模态生成任务。
在自监督Transformer中发现分布式目标中心属性
Finding Distributed Object-Centric Properties in Self-Supervised Transformers
提出一种无需训练的方法,通过聚类所有层的注意力头并利用patch级query/key/value相似度,提取分布式目标中心信息,可直接用于提升无监督目标发现和缓解多模态大语言模型的物体幻觉。
面向图像与视频的快速推理分割
Fast Reasoning Segmentation for Images and Videos
把推理分割的推理链蒸馏进 0.6B 小模型,用数字孪生表征解耦感知与推理,再以分割精度+推理质量联合奖励做强化微调,为边缘端实时开放词表分割提供可复用范式。
FORCE:通过特征过度依赖校正实现可迁移的视觉越狱攻击
FORCE: Transferable Visual Jailbreaking Attacks via Feature Over-Reliance CorrEction
对做多模态大模型红队与安全评测的人,这篇给出了一个可复用的攻击优化思路:用损失景观平坦化(类似 sharpness-aware 优化)加频域语义重加权,把视觉对抗扰动从高曲率窄区域推向平坦可行域,从而提升跨模型迁移性;这套「平坦化+频域重标定」也可迁移到对抗样本迁移性、模型鲁棒性诊断等视觉安全问题。
FLARE:面向视觉-语言机器人操作的故障感知自主纠正与恢复框架
FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation
为视觉-语言-动作模型引入基于多模态大语言模型(MLLM)的在线故障监控与重置技能库,使机器人能从执行失败中自主恢复;该“重试-重置”范式可迁移到其他具身视觉任务中提升鲁棒性。
FAPE-IR:面向一体化图像复原的频率感知规划与执行框架
FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration
将冻结的多模态大语言模型作为规划器生成频率感知的复原计划,并驱动基于LoRA的混合专家扩散执行器,为统一图像复原提供了可解释的语义规划与频率专家动态选择相结合的新范式。
带着长期记忆去探索:面向具身探索的基准与基于多模态大语言模型的强化学习框架
Explore with Long-term Memory: A Benchmark and Multimodal LLM-based Reinforcement Learning Framework for Embodied Exploration
把多模态大语言模型用强化学习微调成会主动查询长期记忆的探索策略,并给出多目标导航+记忆问答的评测协议,可直接复用到视觉导航与具身探索中的记忆机制设计。
通过推理时自反思记忆演化多模态大语言模型的上下文安全
Evolving Contextual Safety in Multi-Modal Large Language Models via Inference-Time Self-Reflective Memory
提出上下文安全基准 MM-SafetyBench++ 和免训练框架 EchoSafe,通过自反思记忆库在推理时积累和检索安全经验,为视觉语言模型的安全对齐提供可复用的推理时自适应思路。
面向意图识别的层次语义表示驱动的进化式多模态推理
Evolutionary Multimodal Reasoning via Hierarchical Semantic Representation for Intent Recognition
把多模态语义组织成 token 级、概念级、概念关系级三层表示,再用 CoT 提示注入 MLLM 做逐步推理,并借 MLLM 反馈在推理时迭代精炼表示——这套「层次语义 + 自进化提示」流程可直接迁移到视觉问答、视觉定位等需要多粒度视觉语义推理的任务。
EvoComp:通过语义引导的进化标注为多模态大语言模型学习视觉词元压缩
EvoComp: Learning Visual Token Compression for Multimodal Large Language Models via Semantic-Guided Evolutionary Labeling
为 MLLM 的视觉词元压缩提供了一套可复用的监督信号构造范式:用进化搜索在输出损失最小化目标下自动标注应保留的词元子集,再以轻量 encoder-only 压缩器学习该选择策略,可直接迁移到高分辨率、多图或视频输入下的视觉词元剪枝与加速。
为任意开源多模态大语言模型增强部件级点定位能力
Enhancing Part-Level Point Grounding for Any Open-Source MLLMs
提出一种冻结主干、仅靠中间层注意力合成文本条件查询并解码为点热图的插件式方案,可让任意开源 MLLM 获得部件级点定位能力,为细粒度机器人操作等任务提供可直接复用的适配模块。
EgoMind:通过语言推理激活多模态大语言模型的空间认知
EgoMind: Activating Spatial Cognition through Linguistic Reasoning in MLLMs
提出一种无需3D几何先验的纯语言思维链框架,通过角色扮演描述构建跨帧语言场景图,并渐进式分析空间问题,为视觉语言模型中的空间推理提供了可复用的提示与训练策略。
EgoAVU:第一人称音视频理解
EgoAVU: Egocentric Audio-Visual Understanding
对做第一人称视频理解的人,这篇提供了可自动生成音视频叙述与问答的数据引擎,以及揭示 MLLM 视觉偏置的音视频基准;可直接用于构建音视频指令微调数据或诊断模型对音频线索的忽视。
通过强化学习实现长视频理解中的高效帧选择
Efficient Frame Selection for Long Video Understanding via Reinforcement Learning
把「选哪些帧」当作可学习策略,用分层奖励的强化学习训练轻量选择器,可直接插到任意 MLLM 前端替代均匀采样,是长视频理解中低成本提升输入质量的通用手段。
EffectMaker:统一推理与生成实现定制化视觉效果创作
EffectMaker: Unifying Reasoning and Generation for Customized Visual Effect Creation
用多模态大语言模型做高层特效语义推理、扩散 Transformer 通过上下文学习从参考视频提取细粒度视觉线索,形成语义-视觉双路引导,实现无需逐特效微调的参考驱动视频特效合成,可直接迁移到风格化视频编辑与参考引导的可控生成。
DualMirage:利用轮廓与对抗错觉的 CAPTCHA 猎捕隐蔽多模态大语言模型智能体
DualMirage: Hunting Stealthy Multimodal LLM Agents via CAPTCHAs with Contour and Adversarial Illusions
利用人类与机器感知差异设计 CAPTCHA,通过轮廓错觉和对抗扰动探测 MLLM 智能体,为视觉对抗攻击与多模态安全评估提供新思路。
DrivePI:面向统一自动驾驶理解、感知、预测与规划的空间感知 4D 多模态大语言模型
DrivePI: Spatial-aware 4D MLLM for Unified Autonomous Driving Understanding, Perception, Prediction and Planning
DrivePI 将点云、多视角图像与语言指令统一到单个 MLLM 中,并行输出 3D 占用、占用流与规划动作,为视觉研究者提供了一个可复用的端到端 4D 空间理解与预测框架,尤其适合探索小参数量 MLLM 在自动驾驶感知-预测-规划联合建模中的潜力。
不要展示像素,展示线索:通过感知程序解锁语言模型中的视觉工具推理
Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs
提出将视觉工具输出(如深度、光流、对应关系)重写为紧凑、结构化的语言原生摘要,使多模态大模型能直接解析和推理,从而在BLINK等感知任务上大幅提升性能,为视觉-语言模型中的工具使用提供了免训练、模型无关的新范式。
DocSeeker:面向长文档理解的结构化视觉推理与证据定位
DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding
针对长文档理解中低信噪比和监督稀缺问题,提出结构化视觉推理流程与证据感知的强化学习优化方法,可复用于需要定位关键视觉证据的多模态任务。
你看到我指向哪里了吗?基于手势的第一人称视频问答
Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering
将3D手部关键点编码为离散token并与视频帧交错输入MLLM,为第一人称视频中的指向意图理解提供了可复用的空间-时序上下文注入方式;同时发布的EgoPointVQA数据集可用于评测模型的手势定位与指代推理能力。
通过锚定描述实现判别性感知以用于推理分割
Discriminative Perception via Anchored Description for Reasoning Segmentation
用描述性 caption 与上下文做语义对比来构造判别性奖励,可作为一种可复用的 RL 奖励设计思路,用于任何需要模型聚焦目标区域的 grounding/分割任务,同时产出与分割对齐的可解释理由。
发现、分割与选择:面向零样本伪装物体分割的渐进式机制
Discover, Segment, and Select: A Progressive Mechanism for Zero-shot Camouflaged Object Segmentation
把「发现-分割」两阶段换成「发现-分割-选择」三阶段:用视觉特征而非 MLLM 生成候选,再用 MLLM 做语义打分选掩码,这一「候选生成与语义筛选解耦」的思路可直接迁移到开放词表分割、指代分割等需要从多候选中挑最优掩码的任务。
DiG:差分视觉定位——增强多模态大语言模型的细粒度感知
DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Models
把「找出两张相似图的全部差异并定位」做成无需标注数量的代理任务,配合3D渲染自动造配对数据,可直接用于增强MLLM的细粒度定位与空间推理,并可迁移到RefCOCO系列指代定位。
通过下一词元预测检测一切
Detect Anything via Next Point Prediction
将目标检测重新表述为多模态大语言模型的下一词元预测,用特殊词元表示量化坐标,并通过GRPO强化学习后训练弥合离散到连续的坐标预测差距,为视觉感知提供语言感知的统一框架。
思深则视弱:理解与缓解多模态大语言模型推理过程中的感知损伤
Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models
提出免训练的视觉区域引导注意力(VRGA)框架,通过熵-聚焦准则选择视觉头并重加权注意力,缓解多模态大模型在推理时的注意力分散问题,可直接用于提升VQA和视觉定位任务的性能。
DRS-GUI:面向免训练 GUI 视觉定位的动态区域搜索
DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding
把 MCTS 驱动的 Focus/Shift/Scatter 区域搜索作为免训练插件接到现成 MLLM 上,用于高分辨率截图中的小目标定位,可直接迁移到任意需要从大图中裁剪出相关区域再交给 VLM 的视觉定位任务。
面向组合视频检索的组合式变换推理
Compositional Transformation Reasoning for Composed Video Retrieval
把组合式图文查询拆成实体、动作、场景三个推理维度,并用多模态大模型做成对候选推理,这套零样本流程可直接迁移到视频-文本检索与视频时序变化理解任务中,避免依赖噪声三元组训练。
CogniEdit:面向细粒度图像编辑的稠密梯度流优化
CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing
把 GRPO 的稀疏步级奖励改为跨连续去噪步传播梯度的稠密奖励,为扩散编辑提供轨迹级监督;该思路可直接迁移到任何需要细粒度指令遵循的扩散采样优化中。
CoT-Edit:让思维链引导指令式视频编辑
CoT-Edit: Let CoT Guide Instruction Video Editing
用 CoT 增强的 MLLM 作为规划器输出边界框序列与属性化编辑指令,再把全局文本检索转成框条件掩码生成,为指令式视频编辑提供可复用的「先规划空间先验、再局部精修」范式。
CoCoVideo:面向AI生成视频检测的基于商用模型的高质量对比基准
CoCoVideo: The High-Quality Commercial-Model-Based Contrastive Benchmark for AI-Generated Video Detection
提供了基于13个商用生成器的语义对齐真假视频对,可用于训练和评测高保真AIGC视频检测器;其「R3D-18时空特征+置信度门控路由到MLLM推理物理合理性」的框架,为在视觉检测中引入多模态大模型推理提供了可复用的设计范式。
思维链引导的多模态目标重识别
Chain-of-Thought Guided Multi-Modal Object Re-Identification
把 MLLM 的思维链文本推理作为锚框条件,在早期特征、跨模态一致性和决策三个层级约束视觉特征学习,为视觉-语言检索类任务提供了一种可复用的「文本逻辑引导视觉表征」范式。
COPO:面向多模态大语言模型幻觉的因果导向策略优化
COPO: Causal-Oriented Policy Optimization for Hallucinations of MLLMs
COPO 通过因果完备性奖励和 token 级充分性/必要性约束,在 GRPO 框架内构造因果感知的优势函数,为视觉语言模型提供了一种可复用的幻觉缓解训练策略,可直接用于改进多模态对齐与生成忠实度。
CG-Reasoner:质心引导的位置推理分割用于医学影像及一个鲁棒的视觉-文本一致性指标
CG-Reasoner: Centroid-Guided Positional Reasoning Segmentation for Medical Imaging with a Robust Visual-Text Consistency Metric
将多模态大语言模型的推理能力与轻量级分割网络结合,通过Text2Centroid模块从推理嵌入预测病灶质心,为医学图像分割提供可解释的位置推理;提出的PRScore指标可评估生成文本与分割掩码的空间语义对齐,可复用于其他视觉-语言分割任务。
超越弱监督:多模态大语言模型引导的分级知识蒸馏用于无监督伪装目标检测
Beyond Weak Supervision: MLLMs-Guided Graded Knowledge Distillation for Unsupervised Camouflaged Object Detection
提出利用多模态大语言模型(MLLM)结合思维链生成高质量伪标签,并通过分级知识蒸馏训练学生网络,为无监督密集预测任务提供了一种可复用的弱监督替代方案。
超越像素模拟:基于诊断语义令牌和原型控制的病理图像生成
Beyond Pixel Simulation: Pathology Image Generation via Diagnostic Semantic Tokens and Prototype Control
利用冻结的病理多模态大模型提取诊断语义令牌,并结合原型库实现细粒度形态控制,为医学图像生成提供了可复用的语义控制范式。
超越全局相似度:面向细粒度跨模态理解的多条件检索
Beyond Global Similarity: Multi-Conditional Retrieval for Fine-Grained Cross-Modal Understanding
为视觉研究者提供了一个诊断性基准,用于检验多模态检索器与视觉语言重排序器在自然语言多约束查询下的细粒度组合匹配能力;其发现(视觉线索主导早期排序精度、文本元数据稳定长尾排序、pointwise 重排序器通过显式验证查询-候选一致性显著提升匹配)可直接指导检索系统的重排序模块设计与多模态特征融合策略。
AutoTraces:基于多模态大语言模型的自回归轨迹预测
AutoTraces: Autoregressive Trajectory Forecasting via Multimodal Large Language Models
把连续物理坐标离散化为 token 接入 LLM 自回归解码,并用多模态 LLM 自动生成时空推理思维链,这套「坐标分词 + 自动 CoT」可迁移到人体轨迹预测、视觉导航等需要输出连续几何序列的视觉任务。
AutoCut:基于多模态离散化与可控生成的端到端广告视频编辑
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
把视频、音频用残差向量量化离散成与文本对齐的统一词元,再用多模态大语言模型自回归预测词元序列来驱动视频剪辑与生成,为视觉研究者提供了一条「离散词元 + 语言模型」做长视频可控编辑的可复用路线。
ArtiMuse:联合评分与专家级理解的细粒度图像美学评估
ArtiMuse: Fine-Grained Image Aesthetics Assessment with Joint Scoring and Expert-Level Understanding
提出基于多模态大语言模型的联合评分与专家级理解框架,并构建首个专家标注的细粒度美学评估数据集,为视觉美学分析提供可复用的模型与数据基础。
ArtHOI:驯服基础模型实现手-关节物体交互的单目4D重建
ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions
提出从单目RGB视频重建手-关节物体4D交互的优化框架,利用自适应采样精化物体尺度与位姿,并用MLLM接触推理约束手-物体网格对齐,为单目动态场景重建提供可复用思路。
AnyDoc:通过大规模 HTML/CSS 数据合成与高度感知强化优化增强文档生成
AnyDoc: Enhancing Document Generation via Large-Scale HTML/CSS Data Synthesis and Height-Aware Reinforcement Optimization
提出可扩展的 HTML/CSS 文档数据合成管线与高度感知强化学习后训练,为多模态大语言模型在结构化视觉生成任务(如文档渲染、元素到文档)上提供可复用的数据构造与奖励设计思路。
Air-Know:仲裁器校准的知识内化鲁棒网络用于组合图像检索
Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval
用 MLLM 作为离线专家构造高精度锚框数据集,再把判别逻辑内化到轻量代理仲裁器中,为视觉-语言检索中处理噪声对应关系提供了可复用的「专家-代理-分流」解耦范式。
基于自反思多模态理解的智能体式视频摘要
Agentic Video Summarization via Self-Reflecting Multimodal Understanding
把视频摘要从「特征提取+帧级重要性回归」的判别式范式,换成由 MLLM 驱动的「摘要—验证—反思」闭环智能体流程,视觉研究者可直接复用其自反思验证环节来提升关键帧选择的可解释性与自适应能力,而无需训练新网络。
对抗风格优化:通过基于GRPO的风格触发器优化增强VLM越狱
Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization
提出了一种基于GRPO优化图像编辑模型来叠加风格触发器的即插即用模块,可增强现有视觉越狱攻击的成功率,为多模态大模型的安全评估和红队测试提供了可复用的风格扰动优化框架。
AdapAction:针对 GUI 智能体的自适应目标动作后门攻击
AdapAction: Adaptive Target Action Backdoor Attack against GUI Agents
对做多模态 GUI 智能体或 VLM 智能体安全的研究者,这篇给出了一个「上下文感知型后门」的攻击范式:触发器不再映射到固定动作,而是让模型按当前界面状态与指令自行选择语义连贯的恶意动作,因此基于指令一致性、视觉连贯性、安全性的 LLM 防御难以识别;可作为构建智能体安全评测与防御(如动作级一致性校验、状态-动作因果审计)的基线攻击。
ANTS:通过测试时 MLLM 理解与推理实现 OOD 检测的自适应负文本空间塑造
ANTS: Adaptive Negative Textual Space Shaping for OOD Detection via Test-Time MLLM Understanding and Reasoning
把 MLLM 当作测试时的『负空间生成器』:缓存疑似 OOD 图像与视觉相似的 ID 类,用提示词让 MLLM 分别生成描述性负句和近邻负标签,再用自适应加权分数融合,可直接迁移到任何基于 CLIP 式文本空间的 OOD 检测或开放词表识别流程中,且无需训练。
ADSeeker:面向工业异常检测与推理的知识驱动推理框架
ADSeeker: A Knowledge-Grounded Reasoning Framework for Industry Anomaly Detection and Reasoning
把 MLLM 与图像-文档知识库的检索增强生成(Q2K RAG)结合,用于零样本工业异常检测与推理;其分层稀疏提示词与类型级特征提取思路可迁移到其他需要细粒度缺陷/异常描述的视觉-语言任务。
A3:迈向广告美学评估
A3: Towards Advertising Aesthetic Assessment
论文提出的 A3-Law 分层美学评估范式与思维链引导的多模态大模型训练方法,可迁移至图像美学评估、广告创意生成等视觉任务,为视觉语言模型提供可解释的细粒度评价能力。
面向多模态大语言模型的更词元化的图像词元化方法
A More Word-like Image Tokenization for MLLMs
DiVT 将图像块嵌入聚类成语义单元,使视觉词元更接近离散词元,并动态调整词元预算,为视觉-语言模型提供了一种不修改编码器与语言模型即可降低视觉词元数量与延迟的即插即用方案。
3D-IDE:三维隐式深度涌现
3D-IDE: 3D Implicit Depth Emergent
通过信息瓶颈和几何自监督让MLLM在统一视觉表征中隐式涌现3D感知,推理时无需深度和位姿输入且零延迟开销,为视觉语言模型融合3D信息提供了免外部嫁接的新范式。