Tag · 4 篇
像素级定位
SPARROW:在像素级视频多模态大模型中学习空间精度与时序指代一致性
SPARROW: Learning Spatial Precision and Temporal Referential Consistency in Pixel-Grounded Video MLLMs
针对视频 MLLM 中静态 [SEG] 词元缺乏时序上下文导致的漂移与身份切换问题,提出目标特定跟踪特征(TSF)注入时序对齐的指代线索,并用 [BOX]/[SEG] 双提示解码融合几何先验与语义定位;这套即插即用设计可直接迁移到任意视频 MLLM 的像素级指代任务上。
基于推理驱动的图像级监督异常检测与定位
Reasoning-Driven Anomaly Detection and Localization with Image-Level Supervision
利用MLLM自回归推理过程中的注意力响应生成像素级异常图,仅需图像级监督,为视觉异常检测提供无需密集标注的新范式。
PixDLM:面向无人机推理分割的双路径多模态语言模型
PixDLM: A Dual-Path Multimodal Language Model for UAV Reasoning Segmentation
把思维链问答监督与像素级分割输出耦合进一个多模态语言模型,为高分辨率斜视无人机影像提供可复用的推理分割基线;其按空间、属性、场景三级组织语义需求的思路,可直接迁移到其他需要复杂推理的开放词表分割设定。
PIX-TAB:结合投机解码与区域图像分割的高效像素级精确表格结构识别方法
PIX-TAB: Efficient PIXel-Precise TABle Structure Recognition Approach with Speculative Decoding and Region-Based Image Segmentation
位置感知的像素级 token 与仅训练期使用的框监督,为文档版面这类密集结构化预测提供了可复用的空间定位方案;投机解码在序列式结构生成上的加速也可迁移到其他自回归式视觉输出任务。