眼底图像的数据标注的质量控制方法及质量控制系统技术方案

本公开描述了一种眼底图像的数据标注的质量控制方法。其包括获取多张眼底图像；对各张眼底图像进行标准化处理以获得多张标准化眼底图像；对各张标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像；准备目标眼底图集；由多个第一标注医生分别对目标眼底图集中的各张图像进行标注以获取多组医生标注结果；基于医生标注结果计算相应的第一标注医生的自我一致性和金标准一致性，获取符合预设条件的第一标注医生的医生标注结果作为目标标注结果；将多组目标标注结果进行汇总以获取最终标注结果。根据本公开，能够提供一种准确率较高的眼底图像的数据标注的质量控制方法及质量控制系统。质量控制系统。质量控制系统。

【技术实现步骤摘要】
眼底图像的数据标注的质量控制方法及质量控制系统


[0001]本公开涉及一种眼底图像的数据标注的质量控制方法及质量控制系统。

技术介绍

[0002]随着人工智能技术的发展，基于机器学习的监督学习技术被应用到越来越多的领域，特别是在医疗影像领域，基于机器学习的监督学习技术取得了巨大的成功。在监督学习中，机器学习模型利用由训练数据(例如眼底图像)和训练数据的标注结果(例如糖尿病性视网膜病变分期)组成的训练集进行训练，因此训练数据的数据标注质量对模型的训练至关重要。
[0003]目前，为了使训练数据的标注结果更准确，常常让专业的标注人员例如专业的眼科医生对训练数据进行标注并结合质量控制方法对标注结果进行质量控制。例如文献(CN110991486A)公开了一种多人协作图像标注质量控制的方法，该方法在标注包中按预设比例投入金标准数据，以验证标注用户针对任一标注包的标注质量，在多人拟合步骤，将一份图像分发给多位用户，收集多位用户对图像的标注结果，获取重复标签后，得到真实标签。然而，训练数据的标注结果的准确率还有待提高。
专利
技术实现思路

本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼底图像的数据标注的质量控制方法，其特征在于，包括：获取多张眼底图像；对各张所述眼底图像进行标准化处理以获得多张标准化眼底图像；对各张所述标准化眼底图像的质量进行初步筛选以获取多张合格眼底图像；准备目标眼底图集，所述目标眼底图集包括包括所述多张合格眼底图像的待标定数据集、包括第一预设数量的已知正确标注结果的金标准眼底图像的金标准数据集和由至少一张所述待标定数据集中的图像构成的自我一致性判定数据集，所述目标眼底图集的各张图像作为各张目标眼底图像；由多个第一标注医生分别对所述目标眼底图集中的各张图像进行标注以获取多组医生标注结果，所述医生标注结果包括至少一个判定结果，所述判定结果至少包括无明显异常或一种疾病的疾病信息；基于所述医生标注结果计算相应的第一标注医生的自我一致性和金标准一致性以获取符合预设条件的第一标注医生的所述医生标注结果作为目标标注结果，所述自我一致性通过将所述自我一致性判定数据集中的各张图像的所述医生标注结果和所述待标定数据集中的与所述自我一致性判定数据集中的各张图像重复的图像的所述医生标注结果两组标注结果中的任意一组标注结果作为第一组标注结果且另一组作为第二组标注结果并利用自我一致性判断评估方法进行评估获得的，所述金标准一致性通过将所述金标准数据集的所述正确标注结果作为第一组标注结果且所述金标准数据集中的各张图像的所述医生标注结果作为第二组标注结果并利用金标准一致性判断评估方法进行评估获得的；将多组所述目标标注结果进行汇总以获取最终标注结果。2.根据权利要求1所述的质量控制方法，其特征在于：所述预设条件为所述自我一致性大于自我一致性阈值且所述金标准一致性大于金标准一致性阈值。3.根据权利要求1所述的质量控制方法，其特征在于：不符合所述预设条件的第一标注医生的所述医生标注结果由第二标注医生对所述目标眼底图集中的各张图像进行重新标注，直至获得符合所述预设条件的医生标注结果作为所述目标标注结果。4.根据权利要求1所述的质量控制方法，其特征在于：所述自我一致性判断方法为利用二次方加权kappa系数计算各个第一标注医生对各个所述疾病进行判定的疾病自我一致性并对各个所述疾病自我一致性进行加权以计算各个第一标注医生的所述自我一致性；所述金标准一致性判断方法为利用二次方加权kappa系数计算各个第一标注医生对各个所述疾病进行判定的疾病金标准一致性并对各个所述疾病金标准一致性进行加权以计算各个第一标注医生的所述金标准一致性。5.根据权利要求4所述的质量控制方法，其特征在于：所述二次方加权kappa系数κ为其中，W
ij
表示二次加权系数，X
ij
表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的所述目标眼底图像的数量，E
ij
表示第一组标注结果中的判定结果为i并且第二组标注结果中的判定结果为j的所述目标眼底图像的期望数量。
6.根据权利要求2所述的质量控制方法，其特征在于：分析不同阈值标注医生的目标自我一致性和目标金标准一致性并采用异常检测的方式确定所述自我一致性阈值和所述金标准一致性阈值。7.根据权利要求6所述的质量控制方法，其特征在于：所述异常检测的方式为获取所述不同阈值标注医生的目标自我一致性并计算自我一致性均值μ0和自我一致性方差σ0，在目标自我一致性满足高斯分布的假设下，所述自我一致性阈值为μ0‑
1.96
×
σ0，并且获取所述不同阈值标注医生的目标金标准一致性并计算金标准一致性均值μ1和金标准一致性方差σ1，在目标金标准一致性满足高斯分布的假设下，所述金标准一致性阈值为μ1‑
1.96
×
σ1。8.根据权利要求1所述的质量控制方法，其特征在于：所述汇总为利用绝对多数投票法比较各张所述目标眼底图像在多组所述目标标注结果中的各个标注结果以确定各张所述目标眼底图像的所述最终标注结果，若无法确定所述最终标注结果，则将该目标眼底图像标记为疑难眼底图像；对所述疑难眼底图像进行标注和仲裁以获取所述最终标注结果。9.根据权利要求1所述的质量控制方法，其特征在于：所述初步筛选包括将所述标准化眼底图像至少分成包括合格和不合格两种图像质量等级，所述合格眼底图像为所...

【专利技术属性】
技术研发人员：王娟，胡娟，胡志钢，赖铭，
申请(专利权)人：深圳硅基智能科技有限公司，
类型：发明
国别省市：