Tag · 2 篇
细粒度感知
01 02
DiG：差分视觉定位——增强多模态大语言模型的细粒度感知
DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Models
把「找出两张相似图的全部差异并定位」做成无需标注数量的代理任务，配合3D渲染自动造配对数据，可直接用于增强MLLM的细粒度定位与空间推理，并可迁移到RefCOCO系列指代定位。
APPO：面向视频推理的注意力引导感知策略优化
APPO: Attention-guided Perception Policy Optimization for Video Reasoning
把强化学习中的组内相对优势换成基于注意力、跨响应聚焦同一关键帧的 token 级稠密奖励，可在无细粒度标注下提升视频多模态模型的感知能力，这套奖励设计可直接迁移到其他视频 VLM 的 RL 后训练流程。