Tag · 2 篇
指代理解
01 02
See What I Mean：对齐视觉与语言表示用于视频细粒度物体理解
See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding
通过训练时使用掩码监督来对齐视觉与语言表示，使多模态大语言模型在推理时仅凭文本提示即可自动关注用户指定的物体，为细粒度物体理解提供了一种无需视觉提示的跨模态注意力对齐方法。
为多模态大语言模型将一切定位到 token 中
Grounding Everything in Tokens for Multimodal Large Language Models
GETok 将二维空间定位转化为可学习的网格 token 与偏移 token 的序列预测，为 MLLM 在原生自回归框架下实现精确的 2D 视觉定位提供了可复用的 token 化方案，可直接用于指代检测、视觉定位等任务。