一种机器学习目标检测系统的多级鲁棒性评测方法及系统技术方案

本发明专利技术公开了一种机器学习目标检测系统的多级别鲁棒性评测方法及系统，其方法为：1)针对目标检测系统的多级别临界转换鲁棒性及相应的临界转换鲁棒性得分的定义；2)临界转换鲁棒性的具体测试流程；3)临界转换鲁棒性得分的计算方法与测试结果的统计。不同级别的临界转换鲁棒性可以测试和度量不同严格级别要求下的目标检测系统鲁棒性。本发明专利技术使用图像转换技术模拟目标检测系统在不同现实环境下所接受的输入图像，在对原始测试集样本进行数据增强的情况下，结合多级临界转换鲁棒性指标评测系统应对不同现实环境条件变化的鲁棒性；最后基于临界转换鲁棒性的指导，可以对现有目标检测系统进行修复与增强。

【技术实现步骤摘要】

本专利技术涉及一种机器学习目标检测系统的多级鲁棒性评测方法及系统，涉及软件工程与人工智能。

技术介绍

1、近年来，基于机器学习的目标检测技术飞速发展，已经被广泛应用于社会的各种不同场景之中，例如自动驾驶系统等，其给人们的生活和工作带来了极大的便利。一个基于机器学习的目标检测模型首先需要在人工标注好的训练数据集上训练从而获得预测图像中目标位置和目标类别的决策逻辑，然后再将模型部署到现实环境中，接收相应环境下的实际输入图像并进行目标检测。然而，相比于传统的软件系统，基于机器学习的目标检测系统的决策逻辑具有不可解释性，因此无法通过传统的软件测试技术，例如逻辑覆盖、静态分析等，测试目标检测系统应对各种部署环境变化时保持正确预测的鲁棒性。

2、在将目标检测系统部署到现实环境时，系统接收的实时输入图像可能受到不同现实环境因素的影响而与原始训练集在数据分布上存在较大差异。例如，一天中不同时刻光线强度的不同会使得输入到系统中的图像亮度差异巨大，天气为雨天时会使得输入图像模糊，摄像头的晃动与旋转会使得输入的图像的角度产生变化等，因此目标检测系统应对不同环境变化时本文档来自技高网...

【技术保护点】

1.一种机器学习目标检测系统的多级鲁棒性评测方法，其步骤包括：

2.根据权利要求1所述的方法，其特征在于，所述样本x为图像样本，所述多级别的临界转换鲁棒性度量指标包括图像级别的度量指标、类级别的度量指标和目标级别的度量指标；对应级别的临界转换鲁棒性CTR(x；T,δ)为图像级别的临界转换鲁棒性、类级别的临界转换鲁棒性和目标级别的临界转换鲁棒性。

3.根据权利要求2所述的方法，其特征在于，对于图像级别的临界转换鲁棒性，如果第i次预测输出的目标框数量发生改变，则判定M(T(x；θi))≠M(x)；对于类级别的临界转换鲁棒性，如果第i次预测输出的任一类别的目标框数量发生...

【技术特征摘要】

1.一种机器学习目标检测系统的多级鲁棒性评测方法，其步骤包括：

2.根据权利要求1所述的方法，其特征在于，所述样本x为图像样本，所述多级别的临界转换鲁棒性度量指标包括图像级别的度量指标、类级别的度量指标和目标级别的度量指标；对应级别的临界转换鲁棒性ctr(x；t,δ)为图像级别的临界转换鲁棒性、类级别的临界转换鲁棒性和目标级别的临界转换鲁棒性。

3.根据权利要求2所述的方法，其特征在于，对于图像级别的临界转换鲁棒性，如果第i次预测输出的目标框数量发生改变，则判定m(t(x；θi))≠m(x)；对于类级别的临界转换鲁棒性，如果第i次预测输出的任一类别的目标框数量发生改变，则判定m(t(x；θi))≠m(x)；对于目标级别的临界转换鲁棒性，如果第i次预测输出的任一目标框发生预测类别错误或位置偏移大于设定值，则判定m(t(x；θi))≠m(x)。

4.根据权利要求1或2或3所述的方法，其特征在于，所述转换t包括但不限于对样本x进行亮度变换、旋转角度变换等图像变换。

5.根据权利要求3所述的方法，其特征在于，对于目标级别的临界转换鲁棒性，判定m(t(x；θi))、m(x)是否一致的方法为：

6.一种机器学习目标检测...

【专利技术属性】
技术研发人员：梁哲恒，张金波，沈伍强，沈佳泉，崔磊，钱正浩，曾纪钧，周纯，裴求根，张小陆，龙震岳，周昉昉，姚潮生，李凯，张震，吴鹏，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：