Tag · 3 篇
细粒度对齐
分布 视觉语言模型2图像编辑与可控生成1
01 02 03
POGA:用于细粒度跨模态检索的释义与对立图对齐
POGA: Paraphrased and Oppositional Graph Alignment for Fine-Grained Cross-Modal Retrieval
POGA 将图像和文本解析为结构化图,并通过多源图增强生成释义正例和对抗负例,为跨模态细粒度对齐提供丰富的监督信号;其混合多粒度对齐目标(全局、节点、关系、焦点反驳)可复用于任何需要细粒度图文匹配的视觉语言任务。
跨模态模糊对齐网络用于文本-航拍行人检索及大规模基准
Cross-modal Fuzzy Alignment Network for Text-Aerial Person Retrieval and A Large-scale Benchmark
针对无人机视角下视觉信息退化导致的跨模态对齐难题,提出用模糊隶属度函数动态量化词元级可靠性,并引入地面视角图像作为桥接代理,为跨模态检索中的噪声抑制和模态鸿沟弥合提供了可复用的对齐思路。
CogniEdit:面向细粒度图像编辑的稠密梯度流优化
CogniEdit: Dense Gradient Flow Optimization for Fine-Grained Image Editing
把 GRPO 的稀疏步级奖励改为跨连续去噪步传播梯度的稠密奖励,为扩散编辑提供轨迹级监督;该思路可直接迁移到任何需要细粒度指令遵循的扩散采样优化中。