Tag · 15 篇
视觉提示
面向长视频理解的视频面板
Video Panels for Long Video Understanding
提出一种免训练、参数无关的视觉提示策略，通过将多帧拼接为面板图像来权衡空间细节与时序分辨率，可直接集成到现有视频语言模型中提升长视频理解性能。
ViTPrompt：面向开放词表检测的免训练视觉 token 提示词精炼
ViTPrompt: Training-Free Prompt Refinement with Visual Tokens for Open-Vocabulary Detection
提出一种无需训练、无需反向传播的测试时提示词精炼方法：利用首轮高置信检测结果提取实例感知视觉 token 来增强文本提示词，再通过跨模态解码器进行第二轮推理，同时提升边界框定位与分类置信度，可直接用于开放词表检测器的分布偏移场景。
ViKey：通过视觉提示增强视频时序理解
ViKey: Enhancing Temporal Understanding in Videos via Visual Prompting
提出一种免训练的视觉提示方法，通过在帧上叠加序号信息增强VideoLLM的时序理解，可复用于任何稀疏采样视频理解流程，缓解帧选择带来的时序推理性能下降。
UniSpector：面向通用开放集缺陷识别的光谱对比视觉提示
UniSpector: Towards Universal Open-set Defect Recognition via Spectral-Contrastive Visual Prompting
提出基于视觉提示的开放集缺陷定位框架，利用空间-光谱提示编码器提取方向不变细粒度特征，并通过对比提示编码器将提示空间正则化为语义组织的角度流形，为开放词表检测和少样本缺陷识别提供了可复用的提示拓扑设计思路。
先验的力量：基于LLaVA的免训练开放词表语义分割
The Power of Prior: Training-Free Open-Vocabulary Semantic Segmentation with LLaVA
利用LLaVA内部层产生的局部化特征作为免训练开放词表分割的像素级激活，并生成视觉提示引导SAM，为无需微调即可复用MLLM空间先验提供了可操作路径。
SkySense-VITA：面向多模态遥感影像的通用上下文分割
SkySense-VITA: Towards Universal In-context Segmentation of Multi-modal Remote Sensing Imagery
论文提出的提示与预测解耦策略（VITA-Former 负责融合多模态提示，VITA-Decoder 负责预测）以及语义粒度退火（SGA）的由粗到细课程，可直接迁移到其他需要同时支持视觉提示、文本提示与融合提示的通用分割框架中。
SD-FSMIS：适配 Stable Diffusion 实现少样本医学图像分割
SD-FSMIS: Adapting Stable Diffusion for Few-Shot Medical Image Segmentation
把预训练 Stable Diffusion 的条件生成架构改造成少样本分割器：用 Support-Query Interaction 注入支持集特征、用 Visual-to-Textual Condition Translator 把视觉提示转成隐式文本嵌入作为生成条件，为视觉研究者提供了一条「复用生成模型先验做密集预测」的可迁移路径。
RxnCaption：将反应图解析重构为视觉提示引导的图像描述
RxnCaption: Reformulating Reaction Diagram Parsing as Visual Prompt Guided Captioning
将坐标预测式解析重构为图像描述任务，并利用视觉提示（边界框与索引）引导 LVLM，为文档图像的结构化信息提取提供了可复用的范式。
PET-DINO：通过提示词增强训练将视觉线索统一到 Grounding DINO 中
PET-DINO: Unifying Visual Cues into Grounding DINO with Prompt-Enriched Training
在 Grounding DINO 这类文本提示检测器上，用轻量视觉提示生成模块（AFVPG）把视觉线索注入文本提示路径，并配合批内并行提示与动态记忆提示两种训练策略，为开放词表/零样本检测提供了一条无需复杂多阶段优化的视觉提示融合方案。
Molmo2：面向视频理解与视觉定位的视觉语言模型开放权重与数据
Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding
Molmo2 提供了不依赖闭源 VLM 生成的视频/多图数据集与训练配方（packing 与 message-tree 编码、视觉 token 双向注意力、token 加权策略），并给出点驱动视觉定位与像素级跟踪的评测设定，可直接用于构建或评测具备指点和跟踪能力的视频语言模型。
Minerva-Ego：面向第一人称视频理解的时空提示
Minerva-Ego: Spatiotemporal Hints for Egocentric Video Understanding
把「该看哪里、何时看」的时空掩码作为提示注入前沿多模态模型，可显著提升复杂视频推理；这套提示构造与推理链标注方式可直接迁移到其他视频问答或具身感知任务的评测与增强。
LocateAnything3D：基于视线链的视觉语言 3D 检测
LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight
将 3D 检测转化为 VLM 的下一词元预测问题，通过显式的 Chain-of-Sight 序列（先 2D 检测再 3D 框）实现开放词表多目标 3D 检测，为视觉研究提供了一种无需专用检测头的统一 VLM 接口。
IF-Bench：面向红外图像的多模态大模型基准评测与生成式视觉提示增强
IF-Bench: Benchmarking and Enhancing MLLMs for Infrared Images with Generative Visual Prompting
提出免训练的生成式视觉提示方法，利用图像编辑模型将红外图像转换为语义和空间对齐的RGB图像，以缓解域分布偏移，可复用于其他跨域视觉-语言任务。
IBISAgent：强化多模态大模型中的像素级视觉推理，实现通用生物医学目标指代与分割
IBISAgent: Reinforcing Pixel-Level Visual Reasoning in MLLMs for Universal Biomedical Object Referring and Segmentation
把分割重构为多轮「文本点击动作 + 调用分割工具」的智能体决策过程，无需改动 MLLM 架构、也无需联合微调解码器，这种「MLLM 输出点击坐标驱动外部分割器」的范式可直接迁移到通用指代分割与交互式分割，并天然支持掩码迭代精修。
概念驱动的任意场景注视目标估计
Gaze Target Estimation Anywhere with Concepts
将自然语言或点提示作为条件输入，端到端地同时完成主体定位与注视目标热图预测，为视觉-语言模型在细粒度空间理解任务上提供了可复用的提示式范式。