一种基于主模态神经元覆盖的图像卷积神经网络模型安全性测评方法技术

本发明专利技术涉及一种基于主模态神经元覆盖的包括图像分类、目标检测和图像分割在内的图像识别领域卷积神经网络安全性测评方法，包括步骤一：解析图像识别领域卷积神经网络模型结构；步骤二：设置模型层级插桩点；步骤三：利用模型安全性测评所用测试集进行模型安全性测试；步骤四：覆盖率驱动的模型安全性测试样本生成；步骤五：扩充后的模型安全性测评测试集进行模型安全性测评，获得更为充分的模型安全性测评结果。本发明专利技术提出的覆盖率指标粒度更细，指标理解和计算简单，更容易实现。使用主模态神经元覆盖率作为模型安全性测评充分性的度量方式，测出模型在面对现实情境中扰动攻击时的安全性问题。覆盖率驱动的模型测试样本生成技术可以采用多种攻击手段进行样本生成，灵活性强。活性强。活性强。

【技术实现步骤摘要】
一种基于主模态神经元覆盖的图像卷积神经网络模型安全性测评方法


[0001]本专利技术属于人工智能模型测试评估领域，涉及一种图像卷积神经网络模型安全性测评方法。

技术介绍

[0002]DeepXplore(Pei K,Cao Y,Yang J,et al.DEEPXPLORE:Automated Whitebox Testing of Deep Learning Systems[J].Mobile Computing and Communications Review,2018,22(3):36
‑
38)是人工智能模型测试评估领域首个面向经典人工神经网络的白盒测试框架，首次提出了神经元覆盖率的概念。对于神经元覆盖率，DeepXplore给出的定义是被激活的神经元在模型所有神经元中的占比。一个神经元输出通过激活函数后，如果输出值超过一定阈值，即可被视为激活。一般认为，神经元覆盖率与测试充分性成正相关。DeepXplore使用多个类似的DNN进行交叉对比，辅助生成测试用例，在此过程中尽可能地提高神经元覆盖率，以提升模型评估的充分性，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主模态神经元覆盖的图像卷积神经网络模型安全性测评方法，其特征在于，包括如下步骤：步骤一：解析图像卷积神经网络模型结构；在模型首次运行过程中，利用深度优先遍历技术自上而下地遍历模型各层级，保存各层级的名称和类型，以及卷积层输出特征图尺寸、激活函数和最大池化层参数信息；步骤二：设置模型层级插桩点；在利用深度优先遍历技术遍历检测模型层级过程中，对卷积层和最大池化层使用钩子函数的形式设置插桩点，在钩子函数中添加保存卷积层和最大池化层的输入/输出特征图数据的代码；步骤三：利用模型安全性测评所用测试集进行模型安全性测试；将模型安全性测评所用的测试集逐批次输入模型中，获取模型输出结果，在此过程中逐批次地通过所述步骤二设置的插桩点获取当前批次图像数据输入模型后卷积层和最大池化层的输入/输出特征图数据，由此计算在当前批次数据输入到模型后的模型主模态神经元覆盖率；当原始测试集逐批次全部输入到模型后，获得在原始测试集输入下的模型主模态神经元覆盖率；步骤四：覆盖率驱动的模型安全性测试样本生成；以模型安全性测评原始测试集中的图片为种子数据，对图片进行扰动攻击，生成满足图片差异性要求以及具备更高主模态神经元覆盖率的样本，扩充模型安全性测评测试集；步骤五：扩充后的模型安全性测评测试集进行模型安全性测评，获得更为充分的模型安全性测评结果。2.如权利要求1所述的一种基于主模态神经元覆盖的图像卷积神经网络模型安全性测评方法，其特征在于，所述步骤一中，所述激活函数和最大池化层参数信息具体指最大池化层的池化核大小、池化核移动步长、池化核输入特征图每条边补充0的数量、池化核元素间隔大小，以及每个卷积层后的激活函数类型。3.如权利要求1所述的一种基于主模态神经元覆盖的图像卷积神经网络模型安全性测评方法，其特征在于，所述步骤二的具体做法是，在模型初次运行时，从模型入口开始，运用深度优先遍历技术顺序向下遍历检测模型层级类型和名称，并进行编号；若识别到层属于容器类型的层，即所述容器类型的层为多个层构成的有序/无序容器，则进入该容器内部进行层级遍历检测直至没有下一层，否则继续向下遍历检测层级；在遍历过程，执行插桩操作，为每一层绑定钩子函数，用于在模型输入数据后获取各层级的输入/输出特征图数据。4.如权利要求1所述的一种基于主模态神经元覆盖的图像卷积神经网络模型安全性测评方法，其特征在于，步骤三中，具体做法是获取该图像卷积神经网络模型安全性测评所用的图片测试集，按照每一批次N幅图片输入到模型中，获取模型输出结果；在过程中，每一层绑定的钩子函数会保存当前批次模型各层级输入/输出特征图数据到临时变量区域，用于神经元覆盖率的计算；所述主模态神经元覆盖率计算的具体步骤是：步骤3.1：获得当前批次数据输入模型后卷积层新被覆盖的主模态神经元；对于层级序号为i的卷积层，其输出特征图为尺寸为的四维张量FeaturesOut
i
，其中N是指每批次图片的数量，指序号为i的卷积层输出特征图通道数，指序号为i的卷积层输出特征图高度，指序号为i的卷积层输出特征图宽度，该输出特征图的每个数据代表一个神经元，共有个神经元；
如果根据所述步骤一所获得的信息显示该卷积层i后续存在激活函数，用符号σ
i
(
·
)表示，则在获取卷积层被覆盖神经元需要使用FeaturesOut
i
经过该激活函数σ
i
(
·
)处理后的特征图数据，即FeaturesOut
i
＝σ
i
(FeaturesOut
i
)；对FeaturesOut
i
的第一个维度求和，获得尺寸为的三维张量，即将个神经元通过求和运算合并为个神经元通过求和运算合并为个神经元；继续调整张量形状，使其变成尺寸为的二维张量...

【专利技术属性】
技术研发人员：洪晟，侯锡彪，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：