数据集与评测 / CVPR2026
KaLOS 寻找共识:一种评估复杂视觉任务中标注者间一致性的元算法
KaLOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks
为视觉基准的标注质量提供可复用的评估流程:先做空间对应匹配再计算一致性,把框、体素分割、姿态等异构标注统一成名义可靠性矩阵,可直接用于清洗检测/分割数据集并诊断标注者与协作结构。
标注一致性评估空间对应匹配可靠性矩阵