目标检测模型的性能测试方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种目标检测模型的性能测试方法、装置、设备及存储介质，涉及模型测试技术领域。所述方法包括：获取图像数据集，图像数据集包括：带目标的图像、图像的标签和图像的语义图；针对图像数据集中的每张图像，基于图像的标签与图像的语义图，提取图像中的所有目标以及每一目标的像素数量，并基于目标的像素数量确定目标的像素级别；通过目标检测模型对图像数据集中的图像进行处理得到预测结果，并基于预测结果和标签，统计各目标类别在各像素级别下的真正例数量、假正例数量和假反例数量；基于真正例数量、假正例数量和假反例数量，计算目标检测模型在各像素级别下的平均精度均值。本发明专利技术更好地衡量了目标检测模型对于小目标的检测性能。目标的检测性能。目标的检测性能。

Performance test method, device, equipment and storage medium of target detection model

【技术实现步骤摘要】
目标检测模型的性能测试方法、装置、设备及存储介质


[0001]本专利技术涉及模型测试
，具体涉及一种目标检测模型的性能测试方法、装置、设备及存储介质。

技术介绍

[0002]目标检测是计算机视觉领域长期存在的一个具有挑战性的基础问题，旨在确定视觉图像中是否存在感兴趣的目标实例，如果存在，则返回每个目标实例的类别和位置信息。作为解决更高级视觉任务(例如分割、场景理解、目标跟踪)的基础，目标检测在多个领域中被广泛使用，包括消费电子、自动驾驶、智能视频监控等。
[0003]近年来，随着深度学习技术的快速发展，基于深度学习的目标检测在准确率和测试速度上都大幅度超越了传统基于手工提取特征的目标检测，基于深度学习的目标检测已成为计算机视觉领域中一个重要的研究热点。
[0004]然而，当前的目标检测模型大多针对于自然场景中分布较为稀疏的中大型目标，对于在原图中所占像素数较少、携带的信息有限的小型目标的检测有一定局限性。经过多次下采样后小目标的分辨率进一步降低，特征信息逐步减弱，检测难度增大，因此通用的目标检测模型具有对小目标检测精度低的缺点。小型目标广泛存在于远距离拍摄的航空航天图像以及遥感图像中，在常用的用于测试方法性能的COCO数据集上，小目标的检测精度通常只会有大目标的一半，小目标问题影响了检测器在COCO数据集上的整体表现。

技术实现思路

[0005]为克服现有小型目标检测方法的局限性，本专利技术公开了一种目标检测模型的性能测试方法、装置、设备及存储介质。
[0006]本专利技术的技术方案包括：
[0007]一种目标检测模型的性能测试方法，所述方法包括：
[0008]获取图像数据集，所述图像数据集包括：带目标的图像、所述图像的标签和所述图像的语义图；
[0009]针对所述图像数据集中的每张图像，基于所述图像的标签与所述图像的语义图，提取所述图像中的所有目标以及每一目标的像素数量，并基于所述目标的像素数量确定所述目标的像素级别；
[0010]通过目标检测模型对所述图像数据集中的图像进行处理得到预测结果，并基于所述预测结果和所述标签，统计各目标类别在各像素级别下的真正例数量、假正例数量和假反例数量；
[0011]基于所述真正例数量、假正例数量和假反例数量，计算所述目标检测模型在各像素级别下的平均精度均值。
[0012]可选地，所述基于所述图像的标签与所述图像的语义图，提取所述图像中的所有目标以及每一目标的像素数量，包括：
[0013]基于所述图像的语义图构建语义图矩阵；
[0014]基于所述图像的标签指示的目标数量，初始化目标数量；
[0015]在遍历至第w个目标时，获取所述第w个目标的语义信息，并将所述第w个目标的像素数量赋值为所述语义图矩阵中所有值等于所述第w个目标的语义信息的像素数量。
[0016]可选地，所述基于所述目标的像素数量确定所述目标的像素级别，包括：
[0017]获取对应关系表，所述对应关系表包括至少一组像素数量和像素级别之间的对应关系；
[0018]基于所述对应关系表，获取所述目标的像素数量对应的像素级别，并确定为所述目标的像素级别。
[0019]可选地，所述通过目标检测模型对所述图像数据集中的图像进行处理得到预测结果，并基于所述预测结果和所述标签，统计各目标类别在各像素级别下的真正例数量、假正例数量和假反例数量，包括：
[0020]在遍历至所述图像数据集中的第s张图像时，将所述第s张图像输入所述目标检测模型，得到所述第s张图像中预测标签为目标类别C的所有预测结果；
[0021]基于所述第s张图像的标签，提取所述第s张图像中真实标签为所述目标类别C的所有目标；
[0022]基于真实标签为所述目标类别C的所有目标分别与每一预测结果之间的交并比，获取所述目标类别C在各像素级别下的真正例数量、假正例数量和假反例数量；
[0023]直至遍历所有目标类别以及所述图像数据集中的所有图像，获取各目标类别在各像素级别下的真正例数量、假正例数量和假反例数量。
[0024]可选地，所述基于真实标签为所述目标类别C的所有目标分别与每一预测结果之间的交并比，获取所述目标类别C在各像素级别下的真正例数量、假正例数量和假反例数量，包括：
[0025]在遍历至第i个预测结果时，基于所述第i个预测结果的像素数量，确定所述第i个预测结果的像素级别k；
[0026]计算真实标签为所述目标类别C的所有目标分别与所述第i个预测结果之间的交并比；
[0027]若存在一目标与所述第i个预测结果之间的交并比，大于交并比阈值且大于其它任一目标与所述第i个预测结果之间的交并比，则确定所述第i个预测结果为所述目标类别C在所述像素级别k下的真正例；
[0028]若所有目标与所述第i个预测结果之间的交并比均小于交并比阈值，则确定所述第i个预测结果为所述目标类别C在所述像素级别k下的假正例；
[0029]若存在第t个目标与各预测结果均不匹配且所述第t个目标属于所述像素级别k，则所述第t个目标为所述目标类别C在所述像素级别k下的假反例；
[0030]直至遍历所有预测结果以及所有目标，得到所述目标类别C在各像素级别下的真正例数量、假正例数量和假反例数量。
[0031]可选地，所述基于所述真正例数量、假正例数量和假反例数量，计算所述目标检测模型在各像素级别下的平均精度均值，包括：
[0032]在遍历至目标类别C以及像素级别k时，基于所述目标类别C在所述像素级别k下的
真正例数量与假正例数量，计算所述目标类别C在所述像素级别k下的精度；
[0033]基于所述目标类别C在所述像素级别k下的真正例数量与假反例数量，计算所述目标类别C在所述像素级别k下的召回率；
[0034]直至遍历所述目标类别C中的所有像素级别，得到所述目标类别C在所有像素级别下的精度与召回率；
[0035]基于所述目标类别C在所有像素级别下的精度与召回率，计算所述目标类别C在各像素级别下的平均精度；
[0036]直至遍历所有目标类别，得到各目标类别在各像素级别下的平均精度；
[0037]针对所述像素级别k，对所有目标类别在所述像素级别k下的平均精度进行平均处理，得到所述目标检测模型在所述像素级别k下的平均精度均值。
[0038]可选地，所述语义图的形式包括灰度图。
[0039]一种目标检测模型的性能测试装置，所述装置包括：
[0040]图像数据集获取模块，用于获取图像数据集，所述图像数据集包括：带目标的图像、所述图像的标签和所述图像的语义图；
[0041]像素级别确定模块，用于针对所述图像数据集中的每张图像，基于所述图像的标签与所述图像的语义图，提取所述图像中的所有目标以及每一目标的像素数量，并基于所述目标的像素数量确定所述目标的像素级别；
[0042]预测结果分析模块，用于通过目标检测模型对所述图像数据集中的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测模型的性能测试方法，其特征在于，所述方法包括：获取图像数据集，所述图像数据集包括：带目标的图像、所述图像的标签和所述图像的语义图；针对所述图像数据集中的每张图像，基于所述图像的标签与所述图像的语义图，提取所述图像中的所有目标以及每一目标的像素数量，并基于所述目标的像素数量确定所述目标的像素级别；通过目标检测模型对所述图像数据集中的图像进行处理得到预测结果，并基于所述预测结果和所述标签，统计各目标类别在各像素级别下的真正例数量、假正例数量和假反例数量；基于所述真正例数量、假正例数量和假反例数量，计算所述目标检测模型在各像素级别下的平均精度均值。2.如权利要求1所述的方法，其特征在于，所述基于所述图像的标签与所述图像的语义图，提取所述图像中的所有目标以及每一目标的像素数量，包括：基于所述图像的语义图构建语义图矩阵；基于所述图像的标签指示的目标数量，初始化目标数量；在遍历至第w个目标时，获取所述第w个目标的语义信息，并将所述第w个目标的像素数量赋值为所述语义图矩阵中所有值等于所述第w个目标的语义信息的像素数量。3.如权利要求1所述的方法，其特征在于，所述基于所述目标的像素数量确定所述目标的像素级别，包括：获取对应关系表，所述对应关系表包括至少一组像素数量和像素级别之间的对应关系；基于所述对应关系表，获取所述目标的像素数量对应的像素级别，并确定为所述目标的像素级别。4.如权利要求1所述的方法，其特征在于，所述通过目标检测模型对所述图像数据集中的图像进行处理得到预测结果，并基于所述预测结果和所述标签，统计各目标类别在各像素级别下的真正例数量、假正例数量和假反例数量，包括：在遍历至所述图像数据集中的第s张图像时，将所述第s张图像输入所述目标检测模型，得到所述第s张图像中预测标签为目标类别C的所有预测结果；基于所述第s张图像的标签，提取所述第s张图像中真实标签为所述目标类别C的所有目标；基于真实标签为所述目标类别C的所有目标分别与每一预测结果之间的交并比，获取所述目标类别C在各像素级别下的真正例数量、假正例数量和假反例数量；直至遍历所有目标类别以及所述图像数据集中的所有图像，获取各目标类别在各像素级别下的真正例数量、假正例数量和假反例数量。5.如权利要求4所述的方法，其特征在于，所述基于真实标签为所述目标类别C的所有目标分别与每一预测结果之间的交并比，获取所述目标类别C在各像素级别下的真正例数量、假正例数量和假反例数量，包括：在遍历至第i个预测结果时，基于所述第i个预测结果的像素数量，确定所述第i个预测结果的像素级别k；
计算真实标签为所述目标类别C的所有目标分别与所述第i个预测结果之间的交并比；若存在一目标与所述第i个预测结果之间的交并比，大于交并比阈值且大于其它任...

【专利技术属性】
技术研发人员：薛云志，孟令中，魏松江，董乾，王鹏淇，杨光，师源，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：