Tag · 4 篇
难负样本挖掘
WikiCLIP:面向开放域视觉实体识别的高效对比基线
WikiCLIP: An Efficient Contrastive Baseline for Open-domain Visual Entity Recognition
提出用大语言模型嵌入作为实体表示,并通过视觉引导的知识适配器在图像块级别对齐文本语义与视觉线索,为视觉-语言检索提供了一种高效且可复用的对齐范式。
Stitch-a-Demo:从多步描述构建视频演示
Stitch-a-Demo: Creating Video Demonstrations from Multistep Descriptions
把「多步文本描述→连贯视频演示」建模为跨片段检索与拼接问题,其弱监督数据构造与难负样本设计可直接迁移到视频检索、程序性视频理解与图文对齐任务中。
FALCON:视觉语言对齐中假负样本感知的对比负样本学习
FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment
针对视觉语言预训练中图文多对多对应导致的假负样本问题,提出用可学习的负样本挖掘调度器在 mini-batch 构建阶段为每个锚框实例动态选择合适难度的负样本;做图文检索、CLIP 类对齐训练的工作可以直接把这一负样本调度策略插到自己的对比损失里,替代固定的难负样本启发式。
CARE 何为失败:面向可验证多模态推理的对比锚定反思
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal Reasoning
对做多模态推理后训练的人,CARE 给出了一套把「全错批次」和「接近正确」的 rollout 转成对比监督的具体配方:锚定对比目标 + 组内 z-score 归一化 + 全负样本救援,可直接替换 GRPO 的损失项;RGR 的单样本结构化自修复则提供了一种无需测试时反思就能把近失样本转成正样本的重采样策略。