图像数据集的规范性评估方法、装置及设备制造方法及图纸

本发明专利技术公开了一种图像数据集的规范性评估方法、装置及设备，涉及数据集评估技术领域。所述方法包括：获取图像数据集以及图像数据集的任务类型，任务类型用于指示图像数据集对应的模型训练任务；基于任务类型，确定图像数据集的规范性度量指标；计算图像数据集在每一规范性度量指标下的度量值；基于各度量值，对图像数据集的规范性进行评估，得到规范性评估结果。本发明专利技术实现了针对图像数据集提供一种规范性评估方法，并提供了具体的规范性评估指标及其度量值计算方式。其度量值计算方式。其度量值计算方式。

【技术实现步骤摘要】
图像数据集的规范性评估方法、装置及设备


[0001]本专利技术涉及数据集评估
，尤其涉及一种图像数据集的规范性评估方法、装置及设备。

技术介绍

[0002]数据集(Data Set)是一种由数据所组成的集合，又可以称为资料集、数据集合或者资料集合等等。随着人工智能(Artificial Intelligence，AI)的发展，数据集的使用越来越频繁，多种多样的数据集层出不穷。
[0003]对于人工智能领域而言，数据集的质量是需要重点关注的一个问题，针对数据集的质量测评是人工智能领域中数据质量测评的主要方面。由于人工智能领域通常使用数据集来训练模型，从而数据集的质量影响着模型的训练结果，质量高或者相关性高的数据集对模型的训练是非常有帮助的，能够有效提升模型训练的准确性。相关技术中，数据集的质量测评包括数据集的规范性评估，数据集的规范性是指对数据集内在质量和外在质量的约束程度。
[0004]然而，针对图像类别的数据集(以下称为“图像数据集”)，相关技术中尚未提出图像数据集的规范性评估方法。

技术实现思路

[0005]为解决上述问题，本专利技术提出了一种图像数据集的规范性评估方法、装置及设备，基于图像数据集的任务类型，确定规范性度量指标并计算度量值，以获取图像数据集的规范性评估结果。
[0006]本专利技术的技术方案包括：
[0007]一种图像数据集的规范性评估方法，其步骤包括：
[0008]获取图像数据集以及所述图像数据集的任务类型，所述任务类型用于指示所述图像数据集对应的模型训练任务；
[0009]基于所述任务类型，确定所述图像数据集的规范性度量指标；
[0010]计算所述图像数据集在每一所述规范性度量指标下的度量值；
[0011]基于各所述度量值，对所述图像数据集的规范性进行评估，得到规范性评估结果，所述图像数据集的规范性是指对所述图像数据集的内在质量和外在质量的约束程度。
[0012]可选地，所述任务类型包括：图像分类任务、目标检测任务或图像分割任务；
[0013]在所述任务类型包括所述图像分类任务的情况下，所述规范性度量指标包括：文件完整规范、图像像素均值、图像尺寸规范、类别分布规范；
[0014]在所述任务类型包括所述目标检测任务的情况下，所述规范性度量指标包括：文件完整规范、图像像素均值、图像尺寸规范、类别分布规范和图像标注规范；
[0015]在所述任务类型包括所述图像分割任务的情况下，所述规范性度量指标包括：文件完整规范、图像像素均值和图像尺寸规范。
[0016]可选地，所述规范性度量指标包括文件完整规范；
[0017]在所述图像数据集包括图像文件F
i
和标注文件B
i
的情况下，计算所述图像数据集在每一所述规范性度量指标下的度量值，包括：
[0018]获取所述图像数据集中每一所述图像文件F
i
的标注文件查找结果a
i
，所述标注文件查找结果a
i
用于指示所述图像文件F
i
在所述图像数据集中是否存在对应的所述标注文件B
i
；
[0019]获取所述图像数据集中每一所述标注文件B
i
的图像文件查找结果b
i
，所述图像文件查找结果b
i
用于指示所述标注文件B
i
在所述图像数据集中是否存在对应的所述图像文件F
i
；
[0020]基于所有的所述标注文件查找结果a
i
与所述图像文件查找结果b
i
，计算所述图像数据集在所述文件完整规范下的度量值；
[0021]在所述图像数据集包括图像文件F
i
、标注文件B
i
和语义文件S
i
的情况下，所述计算所述图像数据集在每一所述规范性度量指标下的度量值，包括：
[0022]获取所述图像数据集中每一所述图像文件F
i
的标注文件查找结果c
i
与语义文件查找结果d
i
，所述标注文件查找结果c
i
用于指示所述图像文件F
i
在所述图像数据集中是否存在对应的所述标注文件B
i
，所述语义文件查找结果d
i
用于指示所述图像文件F
i
在所述图像数据集中是否存在对应的所述语义文件S
i
；
[0023]获取所述图像数据集中每一所述标注文件B
i
的图像文件查找结果e
i
与语义文件查找结果f
i
，所述图像文件查找结果e
i
用于指示所述标注文件B
i
在所述图像数据集中是否存在对应的所述图像文件F
i
，所述语义文件查找结果f
i
用于指示所述标注文件B
i
在所述图像数据集中是否存在对应的所述语义文件S
i
；
[0024]获取所述图像数据集中每一所述语义文件S
i
的图像文件查找结果g
i
与标注文件查找结果h
i
，所述图像文件查找结果g
i
用于指示所述语义文件S
i
在所述图像数据集中是否存在对应的所述图像文件F
i
，所述标注文件查找结果h
i
用于指示所述语义文件S
i
在所述图像数据集中是否存在对应的所述标注文件B
i
；
[0025]基于所有的所述标注文件查找结果c
i
、所述语义文件查找结果d
i
、所述图像文件查找结果e
i
、所述语义文件查找结果f
i
、所述图像文件查找结果g
i
与所述标注文件查找结果h
i
，计算所述图像数据集在所述文件完整规范下的度量值。
[0026]可选地，所述规范性度量指标包括图像像素均值；所述图像数据集包括图像文件F
i
；
[0027]所述计算所述图像数据集在每一所述规范性度量指标下的度量值，包括：
[0028]计算所述图像数据集中每一所述图像文件F
i
的像素均值E
i
；
[0029]对各所述像素均值E
i
进行归一化处理，得到归一化的像素均值E
′
i
；
[0030]将各所述归一化的像素均值E
′
i
与目标亮度区间进行比对，得到每一所述图像文件F
i
的像素均值评分；
[0031]基于所有的所述像素均值评分，计算所述图像数据集在所述图像像素均值下的度量值。
[0032]可选地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据集的规范性评估方法，其特征在于，其步骤包括：获取图像数据集以及所述图像数据集的任务类型，所述任务类型用于指示所述图像数据集对应的模型训练任务；基于所述任务类型，确定所述图像数据集的规范性度量指标；计算所述图像数据集在每一所述规范性度量指标下的度量值；基于各所述度量值，对所述图像数据集的规范性进行评估，得到规范性评估结果，所述图像数据集的规范性是指对所述图像数据集的内在质量和外在质量的约束程度。2.如权利要求1所述的方法，其特征在于，所述任务类型包括：图像分类任务、目标检测任务或图像分割任务；在所述任务类型包括所述图像分类任务的情况下，所述规范性度量指标包括：文件完整规范、图像像素均值、图像尺寸规范、类别分布规范；在所述任务类型包括所述目标检测任务的情况下，所述规范性度量指标包括：文件完整规范、图像像素均值、图像尺寸规范、类别分布规范和图像标注规范；在所述任务类型包括所述图像分割任务的情况下，所述规范性度量指标包括：文件完整规范、图像像素均值和图像尺寸规范。3.如权利要求1所述的方法，其特征在于，所述规范性度量指标包括文件完整规范；在所述图像数据集包括图像文件F
i
和标注文件B
i
的情况下，计算所述图像数据集在每一所述规范性度量指标下的度量值，包括：获取所述图像数据集中每一所述图像文件F
i
的标注文件查找结果a
i
，所述标注文件查找结果a
i
用于指示所述图像文件F
i
在所述图像数据集中是否存在对应的所述标注文件B
i
；获取所述图像数据集中每一所述标注文件B
i
的图像文件查找结果b
i
，所述图像文件查找结果b
i
用于指示所述标注文件B
i
在所述图像数据集中是否存在对应的所述图像文件F
i
；基于所有的所述标注文件查找结果a
i
与所述图像文件查找结果b
i
，计算所述图像数据集在所述文件完整规范下的度量值；在所述图像数据集包括图像文件F
i
、标注文件B
i
和语义文件S
i
的情况下，所述计算所述图像数据集在每一所述规范性度量指标下的度量值，包括：获取所述图像数据集中每一所述图像文件F
i
的标注文件查找结果c
i
与语义文件查找结果d
i
，所述标注文件查找结果c
i
用于指示所述图像文件F
i
在所述图像数据集中是否存在对应的所述标注文件B
i
，所述语义文件查找结果d
i
用于指示所述图像文件F
i
在所述图像数据集中是否存在对应的所述语义文件S
i
；获取所述图像数据集中每一所述标注文件B
i
的图像文件查找结果e
i
与语义文件查找结果f
i
，所述图像文件查找结果e
i
用于指示所述标注文件B
i
在所述图像数据集中是否存在对应的所述图像文件F
i
，所述语义文件查找结果f
i
用于指示所述标注文件B
i
在所述图像数据集中是否存在对应的所述语义文件S
i
；获取所述图像数据集中每一所述语义文件S
i
的图像文件查找结果g
i
与标注文件查找结果h
i
，所述图像文件查找结果g
i
用于指示所述语义文件S
i
在所述图像数据集中是否存在对应的所述图像文件F
i
，所述标注文件查找结果h
i
用于指示所述语义文件S
i
在所述图像数据集中是否存在对应的所述标注文件B
i
；基于所有的所述标注文件查找结果c
i
、所述语义文件查找结果d
i
、所述图像文件查找结
果e
i
、所述语义文件查找结果f
i
、所述图像文件查找结果g
i
与所述标注文件查找结果h
i
，计算所述图像数据集在所述文件完整规范下的度量值。4.如权利要求1所述的方法，其特征在于，所述规范性度量指标包括图像像素均值；所述图像数据集包括图像文件F
i
；所述计算所述图像数据集在每一所述规范性度量指标下的度量值，包括：计算所述图像数据集中每一所述图像文件F
i
的像素均值E
i
；对各所述像素均值E
i
进行归一化处理，得到归一化的像素均值E
′
i
；将各所述归一化的像素均值E
′...

【专利技术属性】
技术研发人员：薛云志，孟令中，董乾，刘光镇，杨光，师源，王鹏淇，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：