基于图像质量的目标检测算法性能归一化评价方法及系统技术方案

基于图像质量的目标检测算法性能归一化评价方法和系统，方法包括：对测试集进行不同强度的加噪和/或平滑处理；根据图像质量评价指标获得测试集每张图像的距离指标；根据距离指标将测试集划分多个质量等级的数据集；利用数据集分别对待测算法进行测试，得到不同等级的预测标签；根据数据集对应的预测标签和真实标签，分别进行mAP评分计算；通过归一化处理，将不同等级对应的mAP评分进行加权处理获得总评分。通过对测试集的处理、距离指标获取、数据集等级划分、归一化处理等，实现对待测算法在图像质量上的总体评分，且此评分能够更加客观、全面的反应算法在面临噪声情况时的表现，便于对待测算法进行更全面的比较。

Performance normalization evaluation method and system of target detection algorithm based on image quality

【技术实现步骤摘要】
基于图像质量的目标检测算法性能归一化评价方法及系统
本专利技术涉及图像处理与目标检测技术，尤其与一种基于图像质量的目标检测算法性能归一化评价方法及系统相关。
技术介绍
目标检测模型本源上可以用统计推断的框架描述，通常关注其犯第一类错误和第二类错误的概率，通常用准确率和召回率来描述。其中，准确率描述了模型有多准，即在预测为正例的结果中，有多少是真正例；召回率则描述了模型有多全，即在为真的样本中，有多少被我们的模型预测为正例。不同的任务，对两类错误有不同的偏好，常常在某一类错误不多于一定阈值的情况下，努力减少另一类错误。在检测中，mAP（meanAveragePrecision）及F-Score作为一个统一的指标将这两种错误兼顾考虑。传统的mAP及F-Score计算方法并没有对测试集做任何限定，从而影响了评价的准确性，不能更加客观全面的对不同检测算法进行比较，有必要进行改进。
技术实现思路
本专利技术主要针对相关现有技术的不足，提供一种基于图像质量的目标检测算法性能归一化评价方法及系统，通过对测试集的处理、距离指标获取、数据集等级划分、归一化处理等，实现对待测算法在图像质量上的总体评分，且此评分能够更加客观、全面的反应算法在面临噪声情况时的表现，便于对待测算法进行更全面的比较。为了实现上述目的，本专利技术采用以下技术：基于图像质量的目标检测算法性能归一化评价方法，其特征在于，包括步骤：对测试集进行不同强度的加噪处理；根据图像质量评价指标获得测试集每张图像的距离指标；r>根据距离指标将测试集划分多个质量等级的数据集；利用数据集分别对待测算法进行测试，得到不同等级的预测标签；根据数据集对应的预测标签和真实标签，分别进行mAP评分计算；通过归一化处理，将不同等级对应的mAP评分进行加权处理获得总评分。进一步，所述对测试集进行不同强度的加噪和/或平滑处理，包括步骤：对测试集进行不同强度的加噪处理，其中，加入的噪声包括高斯噪声、椒盐噪声、泊松噪声、斑点噪声中至少一种；和/或，对测试集进行不同强度的平滑处理，其中，平滑处理包括高斯模糊、平均模糊、运动模糊中至少一种；通过不同程度的加噪和/或平滑处理，使处理后的测试集图片数在原测试集基础上增加至少5倍的数量。进一步，所述图像质量评价指标为SSIM、MS-SSIM、IW-SSIM、FSIM、MDSI中一种或多种结合。进一步，所述通过归一化处理，将不同等级对应的mAP评分进行加权处理获得总评分，包括步骤：对不同等级mAP评分设定不同等级的同程度分；根据不同等级取得同程度分时分别需要的对应mAP分数，计算各等级对应的权重；对各等级对应的权重进行归一化处理，获得各等级对应的归一化权重；利用各等级对应的归一化权重对不同等级对应的mAP评分进行加权处理获得总评分。更进一步，对不同等级mAP评分设定不同等级的同程度分，具体是：同程度分从质量等级最高的数据集到质量等级最低的数据集，逐级均等降低。更进一步，总评分计算公式为：，其中，n为＞2整数，n对应不同的等级，mAP与w一一对应，mAP为mAP评分，w为归一化权重。一种基于图像质量的目标检测算法性能归一化评价系统，其特征在于，包括：测试集处理模块，用于对测试集进行不同强度的加噪和/或平滑处理；距离指标生成模块，用于根据图像质量评价指标获得测试集每张图像的距离指标；分级模块，用于根据距离指标将测试集划分多个质量等级的数据集；预测标签生成模块，用于利用数据集分别对待测算法进行测试，得到不同等级的预测标签；mAP评分模块，用于根据数据集对应的预测标签和真实标签，分别进行mAP评分计算；归一化模块，用于通过归一化处理，将不同等级对应的mAP评分进行加权处理获得总评分。进一步，测试集处理模块，包括：加噪单元，用于对测试集进行不同强度的加噪处理，其中，加入的噪声包括高斯噪声、椒盐噪声、泊松噪声、斑点噪声中至少一种；和/或，平滑单元，用于对测试集进行不同强度的平滑处理，其中，平滑处理包括高斯模糊、平均模糊、运动模糊中至少一种；通过不同程度的加噪单元和/或平滑单元的处理，使处理后的测试集图片数在原测试集基础上增加至少5倍的数量。进一步，归一化模块，包括：同程度分设定单元，用于对不同等级mAP评分设定不同等级的同程度分；权重计算单元，用于根据不同等级取得同程度分时分别需要的对应mAP分数，计算各等级对应的权重；归一化单元，用于对各等级对应的权重进行归一化处理，获得各等级对应的归一化权重；总评单元，用于利用各等级对应的归一化权重对不同等级对应的mAP评分进行加权处理获得总评分。进一步，距离指标生成模块采用的图像质量评价指标为SSIM、MS-SSIM、IW-SSIM、FSIM、MDSI中一种或多种结合。本专利技术有益效果在于：1、通过对测试集的处理、距离指标获取、数据集等级划分、归一化处理等，实现对待测算法在图像质量上的总体评分，且此评分能够更加客观、全面的反应算法在面临噪声情况时的表现，便于对待测算法进行更全面的比较；2、通过本专利技术进行评价，可以发现部分算法其实对无噪声图像上表现很好，但对加噪图像目标检测敏感，还需要应加强对加噪图像的训练，从而可以更好更全面的对目标检测算法进行评估，更加准确的区分优劣，便于筛选出更加优势的算法，也便于对具有不足的算法提供参考。附图说明图1为本申请实施例的目标检测算法性能归一化评价方法总体流程。图2为本申请实施例的测试集去噪处理步骤流程。图3为本申请实施例的归一化及加权处理步骤流程。图4为本申请实施例的目标检测算法性能归一化评价系统结构框图。图5为本申请实施例的测试集处理模块结构框图。图6为本申请实施例的归一化模块结构框图。具体实施方式下面结合附图，详细说明本申请的方法及系统的实施手段/方式，并附实例。本申请提供针对图像质量的待测目标检测算法性能评价方法和系统，对测试集进行不同程度的加噪和/或平滑处理，然后，采用质量算法，对加噪测试集进行AQI的打分，并划分为多个等级。再分别对多个等级的图像进行目标检测，并再采用传统mAP的评分方法对其进行打分，得到多组不同质量等级图像的打分，最后对此多组评分进行归一化处理，得到最终的评价分数。具体的，作为本申请的实施例，评价方法的实施流程如图1所示：（1）接收输入的待测算法。（2）对测试集进行不同强度的加噪和/或平滑处理，如图2所示：首先，对测试集加入不同强度的高斯噪声，椒盐噪声，泊松噪声，和斑点噪声中一种或多种；和/或，对测试集进行不同强度的平滑操作，如高斯模糊，平均模糊，运动模糊中一种或多种。具体的，根据测算需求和待测算法来选择。具体如图2所示，单独加噪处理时，按照a-b1-d的流程完成；单本文档来自技高网...

【技术保护点】
1.基于图像质量的目标检测算法性能归一化评价方法，其特征在于，包括步骤：/n对测试集进行不同强度的加噪和/或平滑处理；/n根据图像质量评价指标获得测试集每张图像的距离指标；/n根据距离指标将测试集划分多个质量等级的数据集；/n利用数据集分别对待测算法进行测试，得到不同等级的预测标签；/n根据数据集对应的预测标签和真实标签，分别进行mAP评分计算；/n通过归一化处理，将不同等级对应的mAP评分进行加权处理获得总评分。/n

【技术特征摘要】
1.基于图像质量的目标检测算法性能归一化评价方法，其特征在于，包括步骤：
对测试集进行不同强度的加噪和/或平滑处理；
根据图像质量评价指标获得测试集每张图像的距离指标；
根据距离指标将测试集划分多个质量等级的数据集；
利用数据集分别对待测算法进行测试，得到不同等级的预测标签；
根据数据集对应的预测标签和真实标签，分别进行mAP评分计算；
通过归一化处理，将不同等级对应的mAP评分进行加权处理获得总评分。


2.根据权利要求1所述的基于图像质量的目标检测算法性能归一化评价方法，其特征在于，所述对测试集进行不同强度的加噪和/或平滑处理，包括步骤：
对测试集进行不同强度的加噪处理，其中，加入的噪声包括高斯噪声、椒盐噪声、泊松噪声、斑点噪声中至少一种；和/或，
对测试集进行不同强度的平滑处理，其中，平滑处理包括高斯模糊、平均模糊、运动模糊中至少一种；
通过不同强度的加噪和/或平滑处理，使处理后的测试集图片数在原测试集基础上增加至少5倍的数量。


3.根据权利要求1所述的基于图像质量的目标检测算法性能归一化评价方法，其特征在于，所述图像质量评价指标为SSIM、MS-SSIM、IW-SSIM、FSIM、MDSI中一种或多种结合。


4.根据权利要求1所述的基于图像质量的目标检测算法性能归一化评价方法，其特征在于，所述通过归一化处理，将不同等级对应的mAP评分进行加权处理获得总评分，包括步骤：
对不同等级mAP评分设定不同等级的同程度分；
根据不同等级取得同程度分时分别需要的对应mAP分数，计算各等级对应的权重；
对各等级对应的权重进行归一化处理，获得各等级对应的归一化权重；
利用各等级对应的归一化权重对不同等级对应的mAP评分进行加权处理获得总评分。


5.根据权利要求4所述的基于图像质量的目标检测算法性能归一化评价方法，其特征在于，对不同等级mAP评分设定不同等级的同程度分，具体是：同程度分从质量等级最高的数据集到质量等级最低的数据集，逐级均等降低。


6.根据权利要求4所述的基于图像质量的目标检测算法性能归一...

【专利技术属性】
技术研发人员：吕春，鲍捷，罗庚，
申请(专利权)人：成都傅立叶电子科技有限公司，深圳市特发信息股份有限公司，
类型：发明
国别省市：四川;51