一种目标检测算法的性能评估方法及系统技术方案

本发明专利技术公开一种目标检测算法的性能评估方法及系统，方法包括：根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，进行加权得出综合评估结果。本方法/系统的应用，可实现对不同算法性能的比较，以便于优选出有发展前途的目标检测算法/系统，加快其实用化步伐。

Performance evaluation method and system of a target detection algorithm

【技术实现步骤摘要】
一种目标检测算法的性能评估方法及系统
本专利技术涉及图像处理及目标检测技术，尤其与一种目标检测算法的性能评估方法及系统相关。
技术介绍
目标检测技术是近年来计算机视觉领域中备受关注的方向，主要涉及计算机视觉、图像处理、人工智能、模式识别等学科，被广泛地应用于靶场测量、目标监控、视频压缩、车辆跟踪和航空航天等方面。为了解决目标检测实际应用的如：目标体征、复杂背景环境、语音差异、计算复杂性与自适应性等问题，其算法也层出不穷。研究者们在目标区域提取、特征描述子的表述、分类器的设计等方面采取了许多针对性的处理策略，已经提出了许多有效的基于视觉的目标检测算法，尤其是在神经网络技术快速崛起的时刻，其识别准确率获得了非常大的提升；但算法的结果往往仅通过论文或采用数据集进行跑分，尚未有一套有效的方法对基于应用的目标检测算法进行综合评价/评估。
技术实现思路
本专利技术主要针对相关现有技术的不足，提供一种目标检测算法的性能评估方法及系统，实现对不同算法性能的比较，以便于优选出有发展前途的目标检测算法/系统，加快其实用化步伐。为了实现上述目的，本专利技术采用以下技术：一种目标检测算法的性能评估方法，其特征在于，包括步骤：根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；整合评分结果加权得出综合评估结果。进一步，所述整合评分结果加权得出综合评估结果，是将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；其中，图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，分别是通过计算平均精度均值mAP并加权进行评分获得。进一步，图像质量平均精度均值mAP评分，通过以下步骤获得：在所述数据集中提取多个不同质量等级的子集，作为测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；对不同等级对应的平均精度均值mAP进行加权计算，得到图像质量平均精度均值mAP评分。进一步，图像分辨率平均精度均值mAP评分，通过以下步骤获得：在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；对不同等级对应的平均精度均值mAP进行加权计算，得到图像分辨率平均精度均值mAP评分。进一步，目标质量平均精度均值mAP评分，通过以下步骤获得：在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；对不同等级对应的平均精度均值mAP进行加权计算，得到目标质量平均精度均值mAP评分。进一步，目标大小平均精度均值mAP评分，通过以下步骤获得：在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；对不同等级对应的平均精度均值mAP进行加权计算，得到目标大小平均精度均值mAP评分。进一步，平均精度均值mAP的计算，是对不同的IoU阈值（0.5-0.95，0.05为步长）分别计算平均精度AP，再综合平均，得出平均精度均值mAP。一种目标检测算法的性能评估系统，其特征在于，包括：数据集生产模块，用于根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；评分模块，用于利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；综合评估模块，用于对评分模块获得的评分机进行整合，加权得出综合评估结果。进一步，所述综合评估模块，用于将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；其中，图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，分别是通过计算平均精度均值mAP并加权进行评分获得。进一步，评分模块，包括图像质量测试集生成单元、图像分辨率测试集生成单元、目标质量测试集生成单元、目标大小测试集生成单元中至少一种单元，以及预测标签生成单元、计算单元、加权单元，其中：图像质量测试集生成单元，用于在所述数据集中提取多个不同质量等级的子集，作为图像质量测试集；图像分辨率测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的图像分辨率测试集；目标质量测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的目标质量测试集；目标大小测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的目标大小测试集；预测标签生成单元，用于利用各测试集生成单元生成的测试集分别对待测算法进行测试，分别得到各测试集生成单元对应的所有预测标签；计算单元，用于根据各测试集生成单元对应的所有预测标签，结合各测试集对应的真实标签，分别计算各测试集生成单元不同测试集等级对应的平均精度均值mAP；加权单元，用于分别对各测试集生成单元对应的所有平均精度均值mAP进行加权计算，分别得到图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分。本专利技术有益效果在于：1、采用本专利技术的方法或系统，可对不同的目标检测算法进行评估，通过将待测算法输入本方法/系统，经过从数据集中处理处不同等级的测试集进行测试以获得预测标签，结合真实标签进行mAP计算，并做加权处本文档来自技高网...

【技术保护点】
1.一种目标检测算法的性能评估方法，其特征在于，包括步骤：/n根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；/n利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；/n整合评分结果加权得出综合评估结果。/n

【技术特征摘要】
1.一种目标检测算法的性能评估方法，其特征在于，包括步骤：
根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；
利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；
整合评分结果加权得出综合评估结果。


2.根据权利要求1所述的目标检测算法的性能评估方法，其特征在于：
所述整合评分结果加权得出综合评估结果，是将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；
其中，图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，分别是通过计算平均精度均值mAP并加权进行评分获得。


3.根据权利要求2所述的目标检测算法的性能评估方法，其特征在于：
图像质量平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取多个不同质量等级的子集，作为测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到图像质量平均精度均值mAP评分。


4.根据权利要求2所述的目标检测算法的性能评估方法，其特征在于：
图像分辨率平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到图像分辨率平均精度均值mAP评分。


5.根据权利要求2所述的目标检测算法的性能评估方法，其特征在于，
目标质量平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到目标质量平均精度均值mAP评分。


6.根据权利要求2所述的目标检测算法的性能评估方法，其特征在于，
目标大小平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标...

【专利技术属性】
技术研发人员：鲍捷，吕春，罗庚，曹乐兰，
申请(专利权)人：成都傅立叶电子科技有限公司，深圳市特发信息股份有限公司，
类型：发明
国别省市：四川;51