Tag · 5 篇
视觉-语言对齐
TDATR:通过表格细节感知学习和单元格级视觉对齐改进端到端表格识别
TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment
论文提出的结构引导的单元格定位模块和单元格级视觉-语言对齐方法,可被其他需要细粒度视觉-语言对齐的文档理解任务(如表格问答、文档布局分析)借鉴;其“先感知后融合”策略和利用多任务学习增强数据效率的思路,对数据受限场景下的视觉-语言模型训练有参考价值。
修复跨域少样本目标检测中的目标域散光问题
Remedying Target-Domain Astigmatism for Cross-Domain Few-Shot Object Detection
针对跨域少样本目标检测中注意力分散的问题,提出中心-外周注意力精炼框架,利用类特定原型和文本语义对齐来重塑注意力,可复用于其他域适应检测任务。
PatchAlign3D:面向密集三维形状理解的局部特征对齐
PatchAlign3D: Local Feature Alignment for Dense 3D Shape Understanding
提出仅编码器的点云 Transformer,通过两阶段训练(DINOv2 密集特征蒸馏 + 多正对比对齐部件文本嵌入)实现零样本 3D 部件分割,单次前向推理无需多视角渲染,为 3D 局部理解提供高效可复用的表征学习方案。
GeoBridge:一种语义锚定的多视角基础模型,桥接图像与文本以实现地理定位
GeoBridge: A Semantic-Anchored Multi-View Foundation Model Bridging Images and Text for Geo-Localization
用文本描述作为语义锚点桥接无人机、街景全景与卫星多视角特征,实现双向跨视角匹配与语言到图像检索;其语义锚点对齐机制可迁移到任何需要跨视角/跨模态特征对齐的检索任务。
分解与迁移:思维链提示增强的对齐用于开放词表时序动作检测
Decompose and Transfer: CoT-Prompting Enhanced Alignment for Open-Vocabulary Temporal Action Detection
利用大语言模型的思维链推理将动作标签分解为阶段级描述,并通过文本引导的前景过滤和自适应阶段对齐实现细粒度视觉-文本匹配,为开放词表时序动作检测提供可迁移的语义先验。