一种面向飞行器图像检测的深度学习算法的蜕变测试方法技术

本发明专利技术公开一种面向飞行器图像检测的深度学习算法的蜕变测试方法，以飞行器深度学习图像检测软件为被测对象，提出了针对深度学习图像识别软件的蜕变测试框架

【技术实现步骤摘要】
一种面向飞行器图像检测的深度学习算法的蜕变测试方法


[0001]本专利技术涉及软件测试技术，具体涉及一种图像检测的深度学习算法的蜕变测试方法
。

技术介绍

[0002]随着深度神经网络技术的快速发展，大数据的涌现和计算能力的显著提升，深度神经网络在解决人工智能中的一系列难题发挥了重要的作用，同时也被越来越多的应用到武器装备的各个领域
。
传统软件系统通常由开发人员手动编写代码实现其内部的决策逻辑，并依据相应的测试覆盖准则设计测试用例来测试软件代码
。
与传统的软件系统不同，深度学习定义了一种新的数据驱动的编程范式，开发人员仅编写代码来规定深度学习系统的网络结构，其内部逻辑由悬链过程获得神经元连接权值所决定，因此传统的测试方法无法运用到深度学习类软件测试过程中
。

技术实现思路

[0003]本专利技术提供了一种面向飞行器图像检测的深度学习算法的蜕变测试方法，能够在不使用人工标注的情况下使用大量测试样本对被测软件进行测试，评估被测对象的识别效果和对不同变换的鲁棒性
。
[0004]一种面向飞行器图像检测的深度学习算法的蜕变测试方法，包括蜕变关系的构造
、
衍生测试数据的生成
、
测试的执行和测试结果的比较判定；
[0005]蜕变关系的构造包括，根据深度学习目标检测软件的软件特性和飞行器识别任务要求提出软件的必要属性，将衍生测试样本的生成方法和原始测试样本与衍生测试样本的输出关系归纳为蜕变关系；目标检测任务相对于分类任务而言，是一个回归问题，输出包含目标框的位置；
[0006]在图像进行一定的变换之后，保证图像中目标物体的特征不发生大的改变的情况下，识别软件对原有目标的检测效果保持不变；
[0007]衍生测试数据的生成是蜕变关系的实施过程；
[0008]测试的执行包括，使用蜕变关系生成衍生测试数据后，将衍生测试数据输入被测软件中执行衍生测试样本，得到其预测的实际输出；
[0009]测试结果的比较判定包括，验证被测目标检测软件对衍生测试样本的实际输出结果是否符合根据蜕变关系得到的预期输出结果，如果两者一致，则通过该蜕变关系，如果不一致，则表明违背了该蜕变关系，最终根据蜕变关系违背情况得出模型的指标特性
。
[0010]进一步地，所述蜕变关系包括几何变换类蜕变关系
、
数值变换类蜕变关系以及模糊和遮挡类蜕变关系；
[0011]几何变换类蜕变关系包括水平翻转
、
旋转
、
缩放
、
改变分辨率
、
改变长宽比
、
裁剪
、
透视变换；
[0012]数值变换类蜕变关系包括改变亮度
、
改变对比度
、
改变饱和度
、
改变锐度
、
添加高
斯噪声
、
添加椒盐噪声；
[0013]模糊和遮挡类蜕变关系包括均值模糊
、
高斯模糊
、
运动模糊
、
遮挡
、
雨
、
雾
、
云
、
雪
、
沙尘天气
。
[0014]进一步地，衍生测试数据的生成具体包括：
[0015]首先对被测目标检测软件执行原始测试样本
x
，得到模型对原始测试样本的预测结果
f(x1),f(x2),
…
,f(x
n
)
；基于已构造的蜕变关系，将原始测试样本
x
，构建相应的衍生测试数据
r1(x),r2(x),
…
,r
n
(x)
；在执行蜕变关系对测试样本转换的同时，我们也将原始测试样本的输出运用同样的蜕变关系做转换，得到衍生测试样本的预期输出
r1(f(x1)),r2(f(x2)),
…
,r
n
(f(x
n
))
；
[0016]对于某一蜕变关系而言，首先将原始测试样本输入进被测的目标检测软件中
a
，得到原始样本的实际输出值
b
；再对原始测试样本进行对应该蜕变关系的图像变换操作得到衍生测试样本
a1
，同时将原始样本的输出值也进行相应的变换，得到其在衍生测试样本中的对应预期输出
b0
；
[0017]图像检测软件的输出中包含了输入图像的路径和输出结果的目标框信息，因此在执行蜕变关系生成衍生测试数据时仅需要对以上格式的文本文件进行处理，读取输入图像进行变换并保存，同时将输出目标框信息进行变化，最后将衍生测试图像的路径和转换后的目标框以同样的格式写入文本文件中，用于后续执行和比较
。
[0018]进一步地，如果存在不符合蜕变关系的测试数据，则说明所设计的蜕变关系发现了模型的缺陷，具体判断方法如下：
[0019]通过交并比来判断目标检测框的准确性，交并比即两个目标框相交区域的面积与并集区域的面积之比，用于衡量两个目标框的重叠程度；
[0020]评估蜕变关系的测试效果定义了如下指标：
[0021](1)
平均精度
mAP
[0022]目标检测软件对多个目标类别的平均准确率；
[0023](2)
图片样本违背率
[0024]图片样本违背率为违反蜕变关系的样本数量与原始测试样本的总数的比值；该指标表示在图片粒度下被测软件在当前蜕变关系时表现出的缺陷和性能；
n
表示所有原始测试样本的数量，其中
m
张图像中检测出的目标框与对应衍生测试图像检测出的目标框完全匹配，其余
k
张图像中出现了不匹配的目标框，其中
m+k
＝
n
，则图片样本违背率为：
[0025][0026](3)
目标框违背率
[0027]目标框违背率为未匹配的目标框数量和所有目标框数量的比例；定义目标框违背率为：
n
张原始测试图像和对应的
n
张衍生测试图像中共检测出目标框的数量为
box_num
，其中原始测试图像和对应衍生测试图形中匹配的目标框数量为
matched_box_num
，则共有
2*matched_box_num
个目标框匹配，未匹配的目标框数量为
box_num
‑
2*matched_box_num
，目标框违背率为：
[0028][0029](4)
错检比例
[0030]错检比例指在原始图片和对应衍生图片的全部未匹配目标框中，框住同一个物体但是识别出的类别不一致的目标框的占比，表示至少有一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向飞行器图像检测的深度学习算法的蜕变测试方法，其特征在于，包括蜕变关系的构造
、
衍生测试数据的生成
、
测试的执行和测试结果的比较判定；蜕变关系的构造包括，根据深度学习目标检测软件的软件特性和飞行器识别任务要求提出软件的必要属性，将衍生测试样本的生成方法和原始测试样本与衍生测试样本的输出关系归纳为蜕变关系；目标检测任务相对于分类任务而言，是一个回归问题，输出包含目标框的位置；在图像进行一定的变换之后，保证图像中目标物体的特征不发生大的改变的情况下，识别软件对原有目标的检测效果保持不变；衍生测试数据的生成是蜕变关系的实施过程；测试的执行包括，使用蜕变关系生成衍生测试数据后，将衍生测试数据输入被测软件中执行衍生测试样本，得到其预测的实际输出；测试结果的比较判定包括，验证被测目标检测软件对衍生测试样本的实际输出结果是否符合根据蜕变关系得到的预期输出结果，如果两者一致，则通过该蜕变关系，如果不一致，则表明违背了该蜕变关系，最终根据蜕变关系违背情况得出模型的指标特性
。2.
根据权利要求1所述的一种面向飞行器图像检测的深度学习算法的蜕变测试方法，其特征在于，所述蜕变关系包括几何变换类蜕变关系
、
数值变换类蜕变关系以及模糊和遮挡类蜕变关系；几何变换类蜕变关系包括水平翻转
、
旋转
、
缩放
、
改变分辨率
、
改变长宽比
、
裁剪
、
透视变换；数值变换类蜕变关系包括改变亮度
、
改变对比度
、
改变饱和度
、
改变锐度
、
添加高斯噪声
、
添加椒盐噪声；模糊和遮挡类蜕变关系包括均值模糊
、
高斯模糊
、
运动模糊
、
遮挡
、
雨
、
雾
、
云
、
雪
、
沙尘天气
。3.
根据权利要求1所述的一种面向飞行器图像检测的深度学习算法的蜕变测试方法，其特征在于，衍生测试数据的生成具体包括：首先对被测目标检测软件执行原始测试样本
x
，得到模型对原始测试样本的预测结果
f(x1),f(x2),
…
,f(x
n
)
；基于已构造的蜕变关系，将原始测试样本
x
，构建相应的衍生测试数据
r1(x),r2(x),
…
,r
n
(x)
；在执行蜕变关系对测试样本转换的同时，我们也将原始测试样本的输出运用同样的蜕变关系做转换，得到衍生测试样本的预期输出
r1(f(x1)),r2(f(x2)),
…
,r
n
(f(x
n
))
；对于某一蜕变关系而言，首先将原始测试样本输入进被测的目标检测软件中
a
，得到原始样本的实际输出值
b
；再对原始测试样本进行对应该蜕变关系的图像变换操作得到衍生测试样本
a1
，同时将原始样本的输出值也进行相应的变换，得到其在衍生测试样本中的对应预期输出
b0
；图像检测软件的输出中包含了输入图像的路径和输出结果的目标框信息，因此在执行蜕变关系生成衍生测试数据时仅需要对以上格式的文本文件进行处理，读...

【专利技术属性】
技术研发人员：董冬梅，吴武华，方蕴宇，赫彦文，马红悦，
申请(专利权)人：北京机电工程研究所，
类型：发明
国别省市：