Tag · 84 篇
视觉定位
iSHIFT:带自适应感知的轻量级慢快 GUI 智能体
iSHIFT: Lightweight Slow-Fast GUI Agent with Adaptive Perception
把「慢/快」双模式推理与感知 token 结合,让 2.5B 的 MLLM 按任务难度自适应决定推理深度与注视区域;做视觉定位或高分辨率界面理解时,可借鉴其用特殊 token 引导注意力到局部区域、以隐式思维链替代显式长链推理来省算力的做法。
WebChain:一个大规模人工标注的真实网页交互轨迹数据集
WebChain: A Large-Scale Human-Annotated Dataset of Real-World Web Interaction Traces
提供带视觉-结构-动作三重对齐的真实网页交互轨迹,可用于训练和评测 GUI 智能体的空间视觉定位与规划解耦能力,WebChainBench 可作为视觉智能体定位任务的评测协议参考。
WalkGPT:面向行人导航的深度感知分割接地视觉语言对话
WalkGPT: Grounded Vision-Language Conversation with Depth-Aware Segmentation for Pedestrian Navigation
把分割掩码与相对深度作为 LVLM 的输出 token 级接地信号,并用多尺度查询投影器在空间层级上聚合图像 token,可复用于任何需要像素级接地与深度推理的视觉语言任务,无需用户提供点或锚框提示。
面向物体问题的视觉定位
Visual Grounding for Object Questions
把视觉定位从「找可见目标」扩展到「为开放式物体问题找视觉证据」,并给出可自动生成训练/评测数据的流程;做指代分割或 VQA 的研究者可借此设定检验模型在非直接可见概念上的定位能力,也可复用其轻量定位模型与合成基准。
VideoAuto-R1:思考一次、回答两次的视频自动推理
VideoAuto-R1: Video Auto Reasoning via Thinking Once, Answering Twice
提出「按需推理」机制:用初始答案的置信度决定是否触发思维链,可直接迁移到视频问答、视觉定位等 VLM 推理流程中,在几乎不掉点的前提下把平均输出长度压缩 3.3 倍,是降低多模态大模型推理延迟的可复用策略。
VULCAN:面向迭代式三维物体布局的工具增强多智能体
VULCAN: Tool-Augmented Multi Agents for Iterative 3D Object Arrangement
把 MLLM 的 3D 操作能力从脆弱的原始代码生成转为函数级 API 调用,并引入视觉工具构成感知反馈闭环,为视觉研究者提供了一条「用工具调用弥补 MLLM 3D 视觉定位短板」的可复用范式。
VIRD:通过双轴变换构造视角不变表征用于跨视角姿态估计
VIRD: View-Invariant Representation through Dual-Axis Transformation for Cross-View Pose Estimation
用极坐标变换把卫星图与地面图的水平对应关系对齐,再用上下文增强的位置注意力缓解垂直错位,这套「双轴变换构造视角不变表征」的思路可直接迁移到任何跨视角匹配/定位任务(如无人机-卫星、地面-航拍检索)。
VGent:通过模块化设计解耦推理与预测的视觉定位
VGent: Visual Grounding via Modular Design for Disentangling Reasoning and Prediction
将视觉定位解耦为冻结MLLM编码器与基于检测提议的解码器,避免自回归解码的延迟与幻觉,并支持编码器/解码器的模块化升级;其QuadThinker强化学习训练与掩码感知标签可直接用于提升多目标定位的推理与选择能力。
VGGDrive:为自动驾驶赋予视觉语言模型跨视角几何定位能力
VGGDrive: Empowering Vision-Language Models with Cross-View Geometric Grounding for Autonomous Driving
将冻结的3D基础模型的跨视角几何特征通过分层自适应注入机制融入VLM的2D视觉特征,为视觉语言模型提供可复用的3D几何感知增强方案。
VGG-T$^3$:大规模离线前馈三维重建
VGG-T$^3$: Offline Feed-Forward 3D Reconstruction at Scale
用测试时训练把随视角数增长的 KV 场景表示蒸馏进固定大小的 MLP,使前馈式多视图重建的复杂度从二次降为线性,可直接用于大规模图像集的三维重建与基于场景表示的视觉定位。
ULF-Loc:面向 3D 高斯泼溅鲁棒视觉定位的无偏地标特征
ULF-Loc: Unbiased Landmark Feature for Robust Visual Localization with 3D Gaussian Splatting
论文揭示了 3DGS 中 alpha-blending 优化会给高斯点特征引入偏差,并提出几何加权特征融合替代有偏的特征优化;对做 3DGS 特征场、2D-3D 匹配定位的工作,这是一个可直接复用的特征学习范式修正。
在动态中思考:多模态大语言模型如何感知、跟踪与推理物理4D世界中的动态
Thinking in Dynamics: How Multimodal Large Language Models Perceive, Track, and Reason Dynamics in Physical 4D World
论文提出的 Dyn-Bench 基准和 ST-TCM 结构化融合方法,为视觉研究者提供了评估和提升 MLLMs 在动态 4D 场景中时空推理与动态目标定位能力的可复用工具与思路。
驾驶前先思考:受世界模型启发的多模态视觉定位
Think Before You Drive: World Model-Inspired Multimodal Grounding
将世界模型的未来潜状态推演引入视觉定位,用命令感知的潜变量序列为歧义指令提供前瞻线索,这一「先推演后定位」的范式可迁移到任何需要空间关系推理的视觉-语言任务。
Thermal-Det:面向开放词表热成像目标检测的语言引导跨模态蒸馏
Thermal-Det: Language-Guided Cross-Modal Distillation for Open-Vocabulary Thermal Object Detection
把冻结的 RGB 开放词表检测器当作教师,为成对但无标注的 RGB-热成像数据提供几何与语义伪监督,这一跨模态蒸馏范式可直接迁移到其他缺少标注的成像域(如近红外、深度、事件相机)的开放词表检测。
告诉模型该看哪里:以视觉引导注意力缓解多模态大模型中的幻觉
Tell Model Where to Look: Mitigating Hallucinations in MLLMs by Vision-Guided Attention
VGA 利用视觉词元的语义内容构造精确视觉定位,并在推理时用该定位重定向注意力,为视觉研究者提供了一种免训练、兼容 FlashAttention 的注意力干预手段,可直接用于缓解 MLLM 的视觉幻觉与提升区域级视觉理解。
面向检测、分割与视觉定位的可扩展精确学习的合成物体组合
Synthetic Object Compositions for Scalable and Accurate Learning in Detection, Segmentation, and Grounding
用 3D 几何布局与相机配置增强把高质量物体片段合成为带精确掩码、框和指代表达的训练图像,可直接替代或补充 LVIS/COCO 等真实标注数据,尤其适合低数据量与细粒度属性判别场景。
SynthRGB-T:面向多样性合成的语言-视觉引导图像翻译
SynthRGB-T: Language-Vision Guided Image Translation for Diversity Synthesis
把红外↔可见光图像翻译建模为视觉语言引导的去噪扩散过程,并用解耦注入策略与双条件交叉注意力处理多路引导冲突,可直接复用于跨模态数据增广与开放世界条件生成。
Symphony:受认知启发的多智能体系统用于长视频理解
Symphony: A Cognitively-Inspired Multi-Agent System for Long-Video Understanding
提出基于VLM的视觉定位方法评估视频片段与问题的相关性,并设计带反思的多智能体协作机制,可复用于长视频问答中的关键片段定位与多步推理。
SpatialReward:面向文本到图像生成中细粒度空间一致性的可验证空间奖励建模
SpatialReward: Verifiable Spatial Reward Modeling for Fine-Grained Spatial Consistency in Text-to-Image Generation
提供了一套可验证的空间奖励建模流程:用提示词分解器抽取实体与空间元数据,用专家检测器做视觉定位,再用视觉语言模型做思维链推理判断空间关系,可直接作为强化学习微调 T2I 模型(SD、FLUX)的奖励信号,也可复用其 SpatRelBench 评测生成图像的空间一致性。
小目标,大挑战:小目标视觉定位基准
Small Object, Great Challenge: A Benchmark for Small Object Visual Grounding
对做视觉定位的研究者,这篇提供了小目标场景的评测基准 RefCOCOs 与基于 MLLM 的自动数据构建流水线,可直接用于检验现有 VG 模型在尺度分布偏移下的失效模式;SoVG-Net 的分层文本注入模块也给出了把多层级语言特征注入视觉骨干的具体做法。
简单有效的基于三元组的压缩策略用于紧凑视觉定位
Simple but Effective Triplet-Based Compression Strategies for Compact Visual Localization
提出一种基于三元组选择的简单SfM点云压缩策略,可直接用于视觉定位中减少场景表示的内存占用,且与乘积量化结合后性能优于近期学习方法。
面向视频常识描述的自批判蒸馏网络
Self-Critical Distillation Network for Video-based Commonsense Captioning
论文把「视频→内容描述→常识」的推理链改造成带奖励函数的自批判学习加级联解码器蒸馏,可复用于任何需要让语言输出更依赖视觉证据、并在多个相关类别间共享推理的视觉-语言生成任务。
像专家一样观察:面向开放集细粒度视觉理解的知识增强智能体
Seeing as Experts Do: A Knowledge-Augmented Agent for Open-Set Fine-Grained Visual Understanding
将开放词表检测与网络级检索结合生成类别假设,并通过全局到局部的聚焦机制将检索到的文本知识转化为空间定位证据,为视觉语言模型提供可验证的细粒度推理依据。
看得更远,想得更深:以低层视觉线索与反思提升视觉语言模型的推理能力
See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection
把低层视觉工具(如显著性/掩码提取)接入 VLM 的思维链,并用基于掩码的视觉反馈让模型在推理中回看图像、修正答案;对做视觉推理、细粒度视觉定位或多模态 agent 的研究者,这是一套可复用的「工具调用+视觉反思」RL 训练范式。
Saliency-R1:通过显著性图对齐奖励强化可解释且忠实的视觉语言推理
Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward
提出一种无需额外计算开销的显著性图方法,可追踪视觉信息在推理链中的流动,并用显著性图与人工标注框的重叠度作为 GRPO 奖励,为 VLM 的视觉 grounding 与忠实性训练提供了可复用的奖励设计与归因工具。
SAG-GNN:面向无描述子 2D-3D 匹配的语义感知引导图神经网络
SAG-GNN: Semantic-Aware Guided GNN for Descriptor-Free 2D-3D Matching
把低维语义概率分布作为 3D 点的紧凑先验注入无描述子 2D-3D 匹配,用语义消歧替代大描述子库,可直接迁移到无描述子视觉定位与位姿估计流程中降低存储并提升跨场景泛化。
圆头还是流线型头?连接概念瓶颈模型与属性描述的物体部件
Rounded or Streamlined Head? Bridging Concept Bottleneck Models and Attribute-Described Object Parts
把概念重新定义为「部件-属性对」并用类别无关的目标聚类抑制背景伪证据,这套做法可直接迁移到任何需要 VLM 给出细粒度部件掩码的可解释识别或属性定位流程中,缓解 VLM 部件定位噪声。
重新审视以视觉为中心的推理泛化中长思维链的必要性
Revisiting the Necessity of Lengthy Chain-of-Thought in Vision-centric Reasoning Generalization
对做视觉推理 SFT 数据构造的人有直接指导:不必堆长 CoT 或图像操作式 CoT,只保留关键视觉定位步骤的极简 CoT 反而在不同难度(网格尺寸)上泛化最好,可作为构建可泛化视觉推理训练数据的默认策略。
重新审视几何混淆:用于视觉定位中隐私保护图像查询的双收敛线
Revisiting Geometric Obfuscation with Dual Convergent Lines for Privacy-Preserving Image Queries in Visual Localization
DCL 通过双收敛线设计使几何恢复攻击的优化问题变得病态,为视觉定位中的隐私保护提供了一种可部署的关键点混淆方案,可直接集成到基于线段的定位求解器中。
RegFormer:面向高效弱监督人-物交互检测的可迁移关系视觉定位
RegFormer: Transferable Relational Grounding for Efficient Weakly-Supervised Human-Object Interaction Detection
RegFormer 用空间视觉定位信号作为弱监督 HOI 推理的引导,把图像级交互推理直接迁移到实例级,无需额外训练;对做 HOI、场景图或弱监督定位的研究者,这是一个可复用的「定位引导关系推理」模块,能绕开枚举实例对带来的计算开销与假阳性。
RealVLG-R1:面向机器人感知与操作的大规模真实世界视觉-语言定位基准
RealVLG-R1: A Large-Scale Real-World Visual-Language Grounding Benchmark for Robotic Perception and Manipulation
该工作提供了带边界框、分割掩码、抓取位姿与接触点统一标注的大规模真实场景视觉-语言定位数据集,并用强化微调让 VLM 在统一输出头下同时预测定位与抓取参数,可作为语言驱动操作与开放词表定位的联合评测基准。
ReFAct:赋予多模态网络智能体视觉与上下文聚焦能力
ReFAct: Empowering Multimodal Web Agents with Visual and Context Focusing
提出 Grounding 工具进行主动视觉感知以动态过滤视觉信息,并设计基于外部记忆的 Defocus/Refocus 操作调节多模态上下文信息密度,可复用于视觉语言模型在噪声环境下的鲁棒推理。
Proxy3D:通过语义聚类与对齐为视觉语言模型构建高效三维表征
Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment
用语义感知聚类把视频帧特征压缩成一组 3D 代理 token 替代像素对齐的视觉序列,为 VLM 提供紧凑且具空间一致性的视觉输入;做 3D 空间推理或多模态大模型视觉编码器压缩时可复用这一「聚类成代理 + 多阶段对齐」范式。
指向部件:多模态大语言模型中的免训练少样本视觉定位
Pointing at Parts: Training-Free Few-Shot Grounding in Multimodal LLMs
提出一种免训练、即插即用的少样本部件级指向方法,通过融合文本与视觉注意力图以及自监督视觉对应,可提升MLLM在细粒度空间定位任务上的表现,为视觉语言模型的空间理解提供可复用技术。
PiLoT:面向无人机自身与目标地理定位的神经像素到三维配准
PiLoT: Neural Pixel-to-3D Registration for UAV-based Ego and Target Geo-localization
把实时视频流与带地理参考的三维地图做神经像素到三维配准,用双线程引擎把地图渲染与定位解耦,并用仿真数据训练轻量网络实现零样本仿真到真实迁移,为无 GNSS 场景下的相机位姿估计提供了可复用的地图配准范式。
基于短语视觉定位的自动偏好优化用于改进胸部X光报告生成
Phrase-grounded APO for Improving Chest X-ray Report Generation
提出一种无需真值偏好对的自动偏好优化方法,通过事实核查和LLM提示纠正生成代理偏好数据,并设计结合短语视觉定位损失的APO损失函数,可提升视觉语言模型在推理时的报告事实正确性。
面向图表识别的短语定位感知监督微调:基于侧路掩码注意力
Phrase-Grounding-Aware Supervised Fine-Tuning for Chart Recognition via Side-Masked Attention
把短语级视觉定位作为辅助监督信号插入 LLM 每一层 Transformer 的侧路掩码注意力中,为 VLM 微调提供区域级参考 logit;做文档/图表理解或需要细粒度区域对齐的 VLM 微调时可直接复用该侧路注意力设计。
PV-Ground:文本引导的点-体素交互用于3D视觉定位
PV-Ground: Text-Guided Point-Voxel Interaction for 3D Visual Grounding
用体素骨干网络保留高分辨率空间细节,并用文本引导的关键点采样聚合特征,为3D视觉定位提供了一种避免激进下采样的点-体素交互范式。
OneThinker:面向图像与视频的一体化推理模型
OneThinker: All-in-one Reasoning Model for Image and Video
把图像与视频的问答、描述、空间/时序定位、跟踪、分割统一进一个 MLLM,并用 EMA-GRPO 处理多任务 RL 的奖励异质性,为做统一视觉推理模型的人提供了可复用的多任务 RL 平衡策略与跨任务知识迁移证据。
OmniGround:面向真实复杂场景的综合时空视觉定位基准
OmniGround: A Comprehensive Spatio-Temporal Grounding Benchmark for Real-World Complex Scenarios
STVG 被拆成「高层时序定位 + 细粒度时空传播」两阶段且免训练,可直接套用到现有多模态大模型上做视频目标定位,无需微调即可提升小目标与遮挡场景的 m_tIoU/m_vIoU。
Omni-AD:面向工业异常检测的大规模通用基准
Omni-AD: A Large-scale and Versatile Benchmark for Industrial Anomaly Detection
为工业异常检测提供了一个规模更大、类别更多且同时支持无监督协议与 MLLM 协议(VQA 与视觉定位)的评测平台,可直接用于检验现有 IAD 方法与多模态大模型在细粒度缺陷判别上的真实能力上限。
基于梯度自反思的多模态幻觉缓解
Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection
用一阶泰勒梯度估计每个视觉 token 与文本 token 对当前输出的贡献,从而在解码时抑制虚假视觉特征并重新平衡跨模态贡献;这是一种无需训练、无需辅助模型的推理期去幻觉手段,可直接套用到任意 MLLM 的解码环节。
MedMO:面向医学图像的多模态大语言模型视觉定位与理解
MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images
MedMO 的多阶段训练配方(跨模态预训练对齐异构视觉编码器、多任务指令微调、带 GIoU 框级奖励的强化学习)为医学视觉-语言模型提供了可复用的训练范式,尤其其框级 GIoU 奖励可直接用于提升视觉定位任务的空间推理能力。
MedGRPO:面向异构医学视频理解的多任务强化学习
MedGRPO: Multi-Task Reinforcement Learning for Heterogeneous Medical Video Understanding
针对医学视频理解中多数据集奖励尺度不平衡导致RL训练崩溃的问题,提出跨数据集奖励归一化方法,将各数据集的中位性能映射到统一奖励值,使多任务强化学习稳定;同时引入医学LLM评判器从五个临床维度评估描述质量,为视觉-语言模型在专业领域的多任务RL微调提供可复用方案。
视觉语言模型中目标定位的机制
Mechanisms of Object Localization in Vision-Language Models
对做视觉定位与多模态定位的研究者,这篇给出了可复用的机制分析工具箱(词元消融、注意力 knockout、因果中介分析),并揭示定位由「容器化」词元决定空间范围、仅极少数注意力头承担因果作用,可用于指导 VLM 定位目标设计与注意力头级剪枝/干预。
MVP:多视图预测提升 GUI 视觉定位
MVP: Multiple View Prediction Improves GUI Grounding
对做视觉定位/VLM 的研究者,MVP 提供了一种免训练的多视图推理与聚类集成策略:用指令到图像的注意力分数生成多样化裁剪视图,再对多视图坐标预测做最密空间簇质心聚合,可直接套用到任何坐标回归式 VLM 上以抑制单视图预测的不稳定性。
MOGeo:超越一对一跨视角目标地理定位
MOGeo: Beyond One-to-One Cross-View Object Geo-localization
论文提出跨视角多目标地理定位任务并构建基准数据集,为视觉定位研究提供了更贴近现实的多目标设定和评测协议,可推动多目标跨视角匹配方法的发展。
LoD-Loc v3:利用实例轮廓对齐实现密集城市中的泛化空中定位
LoD-Loc v3: Generalized Aerial Localization in Dense Cities using Instance Silhouette Alignment
将语义建筑轮廓对齐升级为实例轮廓对齐,并配套生成大规模实例分割合成数据集,为密集城市场景下的跨场景视觉定位提供了可复用的数据与对齐范式。
学会聚焦与精确裁剪:面向多模态大语言模型的信息差与视觉定位损失强化学习框架
Learning to Focus and Precise Cropping:A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs
针对多模态大模型在裁剪区域上「看了却没用」的问题,用信息差机制(降低全局图粒度以制造信息增益)配合少量边界框的 grounding loss 做两阶段强化学习,可复用于任何需要模型真正依赖局部细节的高分辨率 VQA / 细粒度感知流程。
InstAP:面向时空理解的实例感知视觉-语言预训练
InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding
提出实例级对比对齐目标,将文本提及定位到时空区域,可复用于需要细粒度视觉-语言对齐的任务(如指代分割、视频实例检索),并证明实例级预训练能提升全局零样本视频理解。
INSIGHT基准:面向机器人操作的场景内引导视觉定位
INSIGHT Bench: Towards Grounded IN-SItu Guidance for Robotic ManipulaTion
论文提出的“in-situ guide grounding”任务要求视觉语言动作模型(VLA)理解物体上的文字和符号(如“PULL”),这为视觉定位研究提供了新的场景和评测基准;其可扩展的仿真框架和程序化生成方法可用于训练和评估模型对物体中心信息的理解能力。
IMAIA:面向旅行规划与地理空间智能的交互式地图 AI 助手
IMAIA: Interactive Maps AI Assistant for Travel Planning and Geo-Spatial Intelligence
把相机图像与位置、朝向等地理信号融合做第一人称场景理解与地点属性关联,为视觉语言模型在户外实景定位与导航问答中提供了一个可替换后端的模块化接口设计思路。
IAG:面向基于 VLM 的视觉定位的输入感知后门攻击
IAG: Input-aware Backdoor Attack on VLM-based Visual Grounding
对做视觉定位或多模态大模型落地的人,这篇给出了一个可复用的攻击面:用文本条件 UNet 把目标语义隐写进图像,使任意指定目标都能被诱导定位,可作为评估 grounding 系统可信度的红队基线。
HOLO:面向SD地图细粒度视觉定位的单应性引导位姿估计网络
HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on SD Maps
将单应性约束引入多视图图像与SD地图的跨模态定位,通过BEV投影和语义对齐构建满足单应性的输入对,并利用单应关系引导特征融合与位姿回归,为自动驾驶低成本定位提供了可复用的几何先验注入方式。
HERO:面向开放词表视频时序句子定位的分层嵌入精炼
HERO: Hierarchical Embedding-Refinement for Open-Vocabulary Temporal Sentence Grounding in Videos
论文提出的开放词表时序句子定位任务和分层嵌入精炼框架,为视觉语言模型在词汇偏移下的泛化提供了可复用的评测基准和跨模态对齐方法,特别是语义引导的视觉过滤和对比掩码文本精炼技术,可直接用于视频-语言对齐任务。
GroundingME:通过多维度评测揭示多模态大语言模型中的视觉定位差距
GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation
对做视觉定位/VLM 的研究者,这篇提供了四维诊断基准(判别、空间、受限、拒绝),可直接用来暴露模型在相似目标区分、复杂关系描述和不可定位查询上的失效模式;其测试时扩展(按思维轨迹选最优回答)与数据混合训练两种改进策略也可迁移到其他 grounding 模型的评测与微调流程。
为多模态大语言模型将一切定位到 token 中
Grounding Everything in Tokens for Multimodal Large Language Models
GETok 将二维空间定位转化为可学习的网格 token 与偏移 token 的序列预测,为 MLLM 在原生自回归框架下实现精确的 2D 视觉定位提供了可复用的 token 化方案,可直接用于指代检测、视觉定位等任务。
面向多模态大语言模型的接地思维链
Grounded Chain-of-Thought for Multimodal Large Language Models
提出 Grounded Chain-of-Thought 任务与 MM-GCoT 基准,要求 MLLM 在逐步推理中显式输出视觉线索的 grounding 坐标,并引入答案-定位一致性指标,可用于诊断和缓解多模态模型在视觉空间推理中的幻觉问题。
基于视觉定位的3D感知空间视觉语言建模
Grounded 3D-Aware Spatial Vision-Language Modeling
把「生成时插入区域 token」的隐式视觉定位与区域提示的单目 3D 框预测结合,可作为 VLM 空间推理的可复用范式:在解码过程中动态引用视觉证据,并用内参感知归一化与稠密几何监督把 2D 定位升级为 3D 推断。
面向 3D 高斯泼溅中指代分割的几何感知跨模态图对齐
Geometry-Aware Cross-Modal Graph Alignment for Referring Segmentation in 3D Gaussian Splatting
针对 3DGS 场景中的语言指代分割,用位置感知提示词扩展与几何图-语义图跨模态对齐来抑制跨模态注意力的误差自增强,可直接迁移到任何需要文本-3D 空间定位的 3DGS/NeRF 管线。
GeoDiT:面向地理空间理解的基于扩散的视觉语言模型
GeoDiT: A Diffusion-based Vision-Language Model for Geospatial Understanding
把地理空间视觉语言生成从自回归序列解码换成扩散式并行精修,对做遥感 captioning、visual grounding 和多目标检测的人提供了一个可直接替换解码范式的思路,尤其适合需要结构化、对象级输出的场景。
从失败到反馈:组修正解锁目标级视觉定位中的困难案例
From Failure to Feedback: Group Revision Unlocks Hard Cases in Object-Level Grounding
提出组修正优化范式,通过生成修正候选并量化改进来构造塑形信号,缓解GRPO在困难样本上奖励稀疏的问题,可复用于视觉语言模型的强化学习微调。
FocusUI:通过位置保持的视觉词元选择实现高效 UI 视觉定位
FocusUI: Efficient UI Grounding via Position-Preserving Visual Token Selection
针对高分辨率截图词元冗余问题,提出指令条件化 patch 级监督与 PosPad 位置连续性保持的视觉词元选择方案,可直接迁移到任意高分辨率 VLM 的视觉编码压缩与定位任务中。
在自监督Transformer中发现分布式目标中心属性
Finding Distributed Object-Centric Properties in Self-Supervised Transformers
提出一种无需训练的方法,通过聚类所有层的注意力头并利用patch级query/key/value相似度,提取分布式目标中心信息,可直接用于提升无监督目标发现和缓解多模态大语言模型的物体幻觉。
揭示与评估 GUI 视觉定位中的幻觉
Exposing and Evaluating Hallucinations for GUI Grounding
把 GUI 视觉定位中的幻觉拆成「混淆幻觉」与「捏造幻觉」两类,并给出可复用的评测子集设计(解析子集 + 幻觉子集),可直接迁移到其他视觉定位任务上做失效模式诊断。
为任意开源多模态大语言模型增强部件级点定位能力
Enhancing Part-Level Point Grounding for Any Open-Source MLLMs
提出一种冻结主干、仅靠中间层注意力合成文本条件查询并解码为点热图的插件式方案,可让任意开源 MLLM 获得部件级点定位能力,为细粒度机器人操作等任务提供可直接复用的适配模块。
Energy-GS:图像能量引导的位姿对齐高斯泼溅与重设计的位姿梯度流
Energy-GS: Image Energy-guided Pose Alignment Gaussian Splatting with redesigned pose gradient flow
针对 3DGS 基于光栅化的点渲染缺乏 NeRF 式可控采样、位姿梯度不稳定的问题,重新设计高斯图元的位姿梯度流并引入图像能量引导的渐进式位姿对齐约束,可直接用于无位姿先验的稀疏视图重建与 SLAM 中的位姿-地图联合优化。
EMAD:面向阿尔茨海默病的以证据为中心的可定位多模态诊断
EMAD: Evidence-Centric Grounded Multimodal Diagnosis for Alzheimer's Disease
把「句子→证据短语→3D MRI 解剖结构」的分层视觉定位机制与可验证奖励的强化微调结合,可复用于任何需要让生成式报告中的每条结论落到具体图像区域的可解释医学视觉语言任务;GTX-Distill 用弱监督教师向模型自生成报告的学生迁移定位行为,为降低密集标注成本提供了可借鉴范式。
通过锚定描述实现判别性感知以用于推理分割
Discriminative Perception via Anchored Description for Reasoning Segmentation
用描述性 caption 与上下文做语义对比来构造判别性奖励,可作为一种可复用的 RL 奖励设计思路,用于任何需要模型聚焦目标区域的 grounding/分割任务,同时产出与分割对齐的可解释理由。
DialogueVPR:迈向对话式视觉地点识别
DialogueVPR: Towards Conversational Visual Place Recognition
把语言引导的地理定位从静态单样本检索改写为多轮对话式推理,其 DQ-pilot 提问器与 PRG 奖励可直接迁移到任何需要主动消解文本歧义的跨模态检索/定位任务(如文本检索行人、指令式导航)。
DiG:差分视觉定位——增强多模态大语言模型的细粒度感知
DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Models
把「找出两张相似图的全部差异并定位」做成无需标注数量的代理任务,配合3D渲染自动造配对数据,可直接用于增强MLLM的细粒度定位与空间推理,并可迁移到RefCOCO系列指代定位。
通过下一词元预测检测一切
Detect Anything via Next Point Prediction
将目标检测重新表述为多模态大语言模型的下一词元预测,用特殊词元表示量化坐标,并通过GRPO强化学习后训练弥合离散到连续的坐标预测差距,为视觉感知提供语言感知的统一框架。
描述任何事物在任何地点任何时刻
Describe Anything Anywhere At Any Moment
提出基于优化的前端,将局部描述模型(如 DAM)批量处理以加速推理,并构建分层 4D 场景图作为全局时空一致记忆,为视觉语言导航与具身智能提供可查询的 4D 表示。
思深则视弱:理解与缓解多模态大语言模型推理过程中的感知损伤
Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models
提出免训练的视觉区域引导注意力(VRGA)框架,通过熵-聚焦准则选择视觉头并重加权注意力,缓解多模态大模型在推理时的注意力分散问题,可直接用于提升VQA和视觉定位任务的性能。
DeepScan:面向大型视觉语言模型视觉定位推理的免训练框架
DeepScan: A Training-Free Framework for Visually Grounded Reasoning in Large Vision-Language Models
提出免训练的分层扫描与重聚焦机制,可即插即用地增强LVLM的视觉定位与细粒度理解能力,为视觉证据提取与推理提供可复用框架。
D3D-VLP:面向具身视觉定位与导航的动态三维视觉-语言-规划模型
D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation
把规划、视觉定位、导航与问答统一进单个 3D-VLM 的 3D 思维链管线,并用掩码自回归损失从部分标注的混合数据中互相隐式监督,对做具身导航与 3D 场景理解的人提供了一个可复用的多任务联合训练范式。
对话式图像分割:以可扩展监督对抽象概念进行视觉定位
Conversational Image Segmentation: Grounding Abstract Concepts with Scalable Supervision
把「意图/可供性/物理常识」这类抽象概念作为分割查询,并用无需人工标注的数据引擎自动生成 prompt-mask 对,为语言引导分割提供了可扩展的监督构造范式,可直接迁移到开放词表与指令式分割的数据扩增。
CoLoR:大规模视觉定位中场景坐标回归的关键所在
CoLoR: The Devil is in Scene Coordinate Regression for Large-Scale Visual Localization
针对大场景下稀疏共视与局部外观歧义问题,提出将场景点划分为多视图/单视图集的两阶段自举监督,以及统一全局与局部特征的图像级/像素级多粒度检索特征,可直接用于提升基于 SCR 的大规模视觉定位精度,同时保持紧凑地图。
CaST-Bench:面向视频问答的因果链视觉定位时空推理基准
CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering
该基准要求模型在视频中定位因果链的时空证据(时序片段和边界框轨迹),为视觉语言模型的可解释推理和减少虚假关联提供了可评估的测试平台,其标注管线和评估指标可直接用于训练和评测更透明的视频问答模型。
CURE:面向可靠解剖定位报告生成的课程引导多任务训练
CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation
把错误感知的课程学习用在多模态指令微调上,按模型当前表现动态调整短语定位与报告生成样本的采样权重,为视觉-语言模型提升空间对齐、抑制幻觉提供了一个无需额外数据的可复用训练策略。
通过外部推理框架突破多模态大语言模型的区域感知瓶颈
Breaking the Regional Perception Bottleneck of Multimodal Large Language Models via External Reasoning Framework
把蒙特卡洛树搜索这类推理时搜索引入 MLLM 的像素级视觉定位,用多模态特征对齐打分和区域特征加权投票替代回归解码器,为纯 MLLM 做 grounding 提供了一条不增加训练成本、只扩展推理阶段的可复用路线。
像苏格拉底一样提问:Socrates 帮助视觉语言模型理解遥感图像
Asking like Socrates: Socrates helps VLMs understand remote sensing images
提出「证据链式思维」RS-EoT 范式与 SocraticAgent 自博弈多智能体合成推理轨迹,并用两阶段渐进式强化学习(先细粒度视觉定位、后 VQA)训练 VLM;对做视觉推理、视觉定位与遥感 VQA 的研究者,这是一套可复用的「推理—回看图像」迭代训练流程,可直接迁移到高分辨率或大场景图像理解任务。
对齐视觉语言模型所见与所感:自适应信息流
Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow
提出一种基于词元动态的视觉词元重要性度量,在解码阶段抑制文本词元对无关视觉词元的注意力,可作为即插即用的推理时干预手段,用于提升 VLM 的视觉定位与抗幻觉能力。
ARM-Thinker:通过智能体工具使用与视觉推理强化多模态生成式奖励模型
ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning
提出了一种可自主调用外部工具(如图像裁剪、文档检索)的多模态奖励模型,通过多阶段强化学习联合优化工具调用决策与判断准确性,为视觉语言模型的奖励建模提供了可验证证据和可解释性,可复用于需要细粒度视觉验证的视觉语言任务。