针对图像数据的目标检测深度学习网络评估系统技术方案

针对图像数据的目标检测深度学习网络评估系统，属于深度学习技术与检测技术领域。现有的针对图像数据的目标检测深度学习网络的可信性评估并不完善的问题，本发明专利技术所述系统提供了一个完整的可信性评估系统，包括一个虚警、漏检率判断子系统和一个可选指标评估子系统。虚警、漏检率判断子系统用于确定虚警和漏检情况，基于目标检测网络的预测或识别结果获取标签文件，然后采用交并比和交小比进行目标框匹配，从而得到虚警率和漏检率；可选指标评估子系统用于根据用户输入评估指标的选项进行对应的指标计算并反馈给用户，该子系统包括泛化性评估模块和鲁棒性评估模块，分别对目标检测深度学习网络的泛化性和鲁棒性进行评估。检测深度学习网络的泛化性和鲁棒性进行评估。检测深度学习网络的泛化性和鲁棒性进行评估。

【技术实现步骤摘要】
针对图像数据的目标检测深度学习网络评估系统


[0001]本专利技术属于深度学习技术与检测
，具体涉及一种图像数据的单目标检测深度学习网络的评估系统。

技术介绍

[0002]在21世纪的今天，人们获取到的信息80％都来源于图像，因此对图像和视频的处理显得尤为重要。在我们的日常生活与工作中，每天都会产生大量的视频和图像数据，如行车记录仪、监控视频、健康体检等，这些大量亟需处理的数据如果仅靠人工处理，并不能满足我们的需求，我们可以通过计算机改善这一情况，目标检测就是其中一项不可或缺的技术。
[0003]目标检测技术对于对人力资本的消耗、安全信息的防护、智能化的生活体验，都具有重要的现实意义。目标检测技术如此广泛应用的同时，其引发的事故会对人类生活产生极大的影响，可能会导致巨大损失。例如：2016年，一司机因驾驶自动驾驶汽车出现意外导致车毁人亡；同年弗罗里达州一男子驾驶自动驾驶汽车与火车相撞，导致当场丧生；2018年亚利桑那州自动驾驶汽车与行人相撞，导致行人不治身亡。由此可见，对目标检测技术的可信性、可行性以及安全性的测试与评估至关重要且势在必行。
[0004]但是目前对深度学习目标检测网络可信性评估的方法比较单一。在研究过程中也缺少统一的可信性评估技术规范和标准。一般情况下，只简单的采用准确率、精确率等作为检测结果的评估依据，或是仅仅研究网络内部神经元的覆盖率，指标单一，无法作为可信性评估的完备指标，且在研究目标检测网络时，给出的指标结果也仅仅是在理想情况下或经典场景下得到的。在非理想情况或其他场景下，网络的表现情况无法得到保证；若受到攻击或者干扰，网络的表现情况也无法保证。因此，依托于原有的评估方法不能够全面的对目标检测网络进行可信性评估。而未经完备评估的目标检测网络，其泛化性能与鲁棒性能未知，内部神经元的结构与利用率也未知，也就无法从根本上保证目标检测网络的可信性，导致在实际应用过程中存在安全性隐患，甚至产生重大事故问题。更为重要的是，目前的对于虚警、漏检率评估的评估中，如果仅用交并比来确定目标框是否匹配是不可靠的。

技术实现思路

[0005]本专利技术为了解决现有的针对图像数据的目标检测深度学习网络评估存在对仅用交并比来确定目标框是否匹配不可靠问题，以及无法得到在非理想情况下网络的表现情况的问题。
[0006]针对图像数据的目标检测深度学习网络评估系统，包括一个虚警、漏检率判断子系统和一个可选指标评估子系统；其中，虚警、漏检率判断子系统用于确定虚警和漏检情况，可选指标评估子系统用于根据用户输入评估指标的选项进行对应的指标计算并反馈给用户；
[0007]所述虚警、漏检率判断子系统确定虚警和漏检情况的过程包括以下步骤：
[0008]基于目标检测网络的预测或识别结果，获取标签文件；目标检测网络针对每张图像都能导出两个txt标签文件，一个原始标签文件，一个预测标签文件；基于设置的交并比两个阈值进行如下处理：
[0009]交并比的两个阈值中加大的阈值记为第一阈值，较小的阈值记为第二阈值；
[0010](A)、当原始标签目标框多于预测标签目标框时：按行取出原始标签txt中的一个框，与预测标签文件中的每个框都进行对比，计算交并比；
[0011]当两个框的IoU大于第一阈值时，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；
[0012]若原始框和预测标签txt中的每个框的IoU均小于第二阈值时，判定其为漏检；计算漏检框个数与总框个数，最终计算漏检率；
[0013]若原始框和预测标签txt文件中的每个框的IoU在第二阈值至第一阈值之间时，计算交小比；交小比：两个目标框相交的面积/两个框中面积较小的目标框；选择交小比最大的一个，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；
[0014](B)、当原始标签目标框少于预测标签目标框时：按行取出原始标签txt文件中的一个框，与原始标签文件中的每个框都进行对比，计算交并比；
[0015]当两个框的IoU大于第一阈值时，说明两个框匹配；匹配后，将原始标签和预测标签分别读到两个新的txt中；
[0016]若预测框和原始标签txt中的每个框计算后的IoU均小于第二阈值时，判定其为虚警，计算虚警框个数与总框个数，最终计算虚警率；
[0017]若预测框和原始标签txt中的每个框的IoU在第二阈值至
‑
第一阈值之间时，计算交小比；选择交小比最大的一个，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；
[0018]当上述操作完成后，将得到两个标签匹配之后的txt文件以及虚警、漏检率两个指标；两个文件中的标签值是一一对应的。
[0019]进一步地，所述的可选指标评估子系统包括一个泛化性评估模块；用户选择输入泛化性评估中的一个或者多个指标，可选指标评估子系统根据对应的指标进行相应指标的评估：
[0020]所述的泛化性评估模块包括分类正确性评估单元和定位精准度评估单元；
[0021]A、分类正确性评估单元：
[0022]分类正确性评估单元用于对分类标签的泛化性进行评估，分类标签的泛化性评估指标包括准确率ACC、精确率P、召回率R、混淆矩阵、平均AP值、F1值、ROC曲线、AUC面积、Kappa系数、海明距离、杰卡德相似系数中的一个或多个；
[0023]所述平均AP值即对多个测试集个体求平均AP值；
[0024]B、定位精准度评估单元：
[0025]定位精准度评估单元用于对目标框标签的泛化性进行评估，目标框标签的泛化性指标包括IoU、GIoU、DIoU、CIoU、EIoU、均方根误差、均方误差、平均绝对误差、平均绝对误差百分比中的一个或多个。
[0026]进一步地，所述的可选指标评估子系统还包括一个鲁棒性评估模块；用户选择输入鲁棒性评估中的一个或者多个指标，可选指标评估子系统根据对应的指标进行相应指标
的评估：
[0027]所述的鲁棒性评估模块，用于评价检测网络在数据集受到一系列干扰之后的表现情况，鲁棒性评估模块包括分类正确性鲁棒评估单元和定位精准度鲁棒评估单元；
[0028]a、分类正确性鲁棒评估单元：
[0029]分类正确性鲁棒评估单元针对在不同噪声攻击下网络的正确性评估指标的变化情况进行评估，分类正确性鲁棒评估单元对应的正确性评估指标包括准确率变化情况指标、精确率变化情况指标和召回率变化指标；
[0030]b、定位精准度鲁棒评估单元：
[0031]定位精准度鲁棒评估单元针对不同噪声攻击下网络的泛化性评估指标进行评估，定位精准度鲁棒评估单元对应的泛化性评估指标包括IoU变化指标、GIoU变化指标、DIoU变化指标、CIoU变化指标、EIoU变化指标。
[0032]进一步地，针对在不同噪声攻击下网络的正确性评估指标的变化情况进行评估的过程如下：
[0033]在对网络进行测试前，对测试数据集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.针对图像数据的目标检测深度学习网络评估系统，其特征在于，包括一个虚警、漏检率判断子系统和一个可选指标评估子系统；其中，虚警、漏检率判断子系统用于确定虚警和漏检情况，可选指标评估子系统用于根据用户输入评估指标的选项进行对应的指标计算并反馈给用户；所述虚警、漏检率判断子系统确定虚警和漏检情况的过程包括以下步骤：基于目标检测网络的预测或识别结果，获取标签文件；目标检测网络针对每张图像都能导出两个txt标签文件，一个原始标签文件，一个预测标签文件；基于设置的交并比两个阈值进行如下处理：交并比的两个阈值中加大的阈值记为第一阈值，较小的阈值记为第二阈值；(A)、当原始标签目标框多于预测标签目标框时：按行取出原始标签txt中的一个框，与预测标签文件中的每个框都进行对比，计算交并比；当两个框的IoU大于第一阈值时，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；若原始框和预测标签txt中的每个框的IoU均小于第二阈值时，判定其为漏检；计算漏检框个数与总框个数，最终计算漏检率；若原始框和预测标签txt文件中的每个框的IoU在第二阈值至第一阈值之间时，计算交小比；交小比：两个目标框相交的面积/两个框中面积较小的目标框；选择交小比最大的一个，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；(B)、当原始标签目标框少于预测标签目标框时：按行取出原始标签txt文件中的一个框，与原始标签文件中的每个框都进行对比，计算交并比；当两个框的IoU大于第一阈值时，说明两个框匹配；匹配后，将原始标签和预测标签分别读到两个新的txt中；若预测框和原始标签txt中的每个框计算后的IoU均小于第二阈值时，判定其为虚警，计算虚警框个数与总框个数，最终计算虚警率；若预测框和原始标签txt中的每个框的IoU在第二阈值至
‑
第一阈值之间时，计算交小比；选择交小比最大的一个，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；当上述操作完成后，将得到两个标签匹配之后的txt文件以及虚警、漏检率两个指标；两个文件中的标签值是一一对应的。2.根据权利要求1所述针对图像数据的目标检测深度学习网络评估系统，其特征在于，所述的可选指标评估子系统包括一个泛化性评估模块；用户选择输入泛化性评估中的一个或者多个指标，可选指标评估子系统根据对应的指标进行相应指标的评估：所述的泛化性评估模块包括分类正确性评估单元和定位精准度评估单元；A、分类正确性评估单元：分类正确性评估单元用于对分类标签的泛化性进行评估，分类标签的泛化性评估指标包括准确率ACC、精确率P、召回率R、混淆矩阵、平均AP值、F1值、ROC曲线、AUC面积、Kappa系数、海明距离、杰卡德相似系数中的一个或多个；所述平均AP值即对多个测试集个体求平均AP值；B、定位精准度评估单元：
定位精准度评估单元用于对目标框标签的泛化性进行评估，目标框标签的泛化性指标包括IoU、GIoU、DIoU、CIoU、EIoU、均方根误差、均方误差、平均绝对误差、平均绝对误差百分比中的一个或多个。3.根据权利要求2所述针对图像数据的目标检测深度学习网络评估系统，其特征在于，所述的可选指标评估子系统还包括一个鲁棒性评估模块；用户选择输入鲁棒性评估中的一个或者多个指标，可选指标评估子系统根据对应的指标进行相应指标的评估：所述的鲁棒性评估模块，用于评价检测网络在数据集受到一系列干扰之后的表现情况，鲁棒性评估模块包括分类正确性鲁棒评估单元和定位精准度鲁棒评估单元；a、分类正确性鲁棒评估单元：分类正确性鲁棒评估单元针对在不同噪声攻击下网络的正确性评估指标的变化情况进行评估，分类正确性鲁棒评估单元对应的正确性评估指标包括准确率变化情况指标、精确率变化情况指标和召回率变化指标；b、定位精准度鲁棒评估单元：定位精准度鲁棒评估单元针对不同噪声攻击下网络的泛化性评估指标进行评估，定位精准度鲁棒评估单元对应的泛化性评估指标包括IoU变化指标、GIoU变化指标、DIoU变化指标、CIoU变化指标、EIoU变化指标。4.根据权利要求3所述针对图像数据的目标检测深度学习网络评估系统，其特征在于，针对在不同噪声攻击下网络的正确性评估指标的变化情况进行评估的过程如下：在对网络进行测试前，对测试数据集进行加噪处理，并且使用不同的加噪强度，记录随着噪声强度的变化，记录正确性评估指标的变化情况。5.根据权利要求4所述针对图像数据的目标检测深度学习网络评估系统，其特征在于，所述的噪声包括高斯噪声、椒盐噪声、随机遮挡。6.根据权利要求3、4或5所述针对图像数据的目标检测深度学习网络评估系统，其特...

【专利技术属性】
技术研发人员：魏长安，姜守达，李波，宋丹丹，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：