一种神经网络的抽象精化方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了一种神经网络的抽象精化方法、装置、终端及存储介质，本发明专利技术通过改变部分神经元的激活值来降低抽象操作引入的误差，并在精化操作中针对特定的神经元进行精化来有效恢复精度。解决了现有技术中的神经网络的抽象精化方法，由于抽象过程存在较大误差，精化过程又难以有效恢复精度，导致最终的网络规模无法被有效地降低的问题。无法被有效地降低的问题。无法被有效地降低的问题。

【技术实现步骤摘要】
一种神经网络的抽象精化方法、装置、终端及存储介质


[0001]本专利技术涉及神经网络
，尤其涉及的是一种神经网络的抽象精化方法、装置、终端及存储介质。

技术介绍

[0002]近年来，深度神经网络在多方面取得了长足进步，并且在越来越多安全攸关场合得到应用。但是诸多工作表明了神经网络本身易受到输入干扰从而导致作出错误判断。因此，深度神经网络的鲁棒性亟需得到严格的验证。由于神经网络验证问题的复杂度与网络的规模存在正相关关系，所以大规模网络的验证问题极具挑战性。在神经网络的验证问题中通常会应用到神经网络的抽象精化方法。然而目前的神经网络的抽象精化方法，由于抽象过程存在较大误差，精化过程又难以有效恢复精度，导致最终的网络规模无法被有效地降低。
[0003]因此，现有技术还有待改进和发展。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种神经网络的抽象精化方法、装置、终端及存储介质，旨在解决现有技术中的神经网络的抽象精化方法，由于抽象过程存在较大误差，精化过程又难以有效恢复精度，导致最终的网络规模无法被有效地降低的问题。
[0005]本专利技术解决问题所采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供一种神经网络的抽象精化方法，其中，所述方法包括：
[0007]获取原始神经网络，将所述原始神经网络转化为等价神经网络，其中，所述等价神经网络和所述原始神经网络具有相同的输入输出关系，且所述等价神经网络中包括若干类别的神经元；
[0008]根据若干所述类别对所述等价神经网络进行抽象操作，得到抽象神经网络，其中，所述抽象神经网络对应的神经元数量小于所述等价神经网络对应的神经元数量，且所述抽象神经网络中包含一个或者若干删除神经元，每一所述删除神经元的激活值为固定值；
[0009]对所述抽象神经网络进行性质验证，当基于所述性质验证获取到所述抽象神经网络对应的伪反例时，根据所述伪反例对所述抽象神经网络中的目标神经元进行精化操作，得到精化神经网络，其中，所述精化操作为所述抽象操作的逆操作，所述抽象神经网络中无任何一个神经元对应的抽象操作与所述目标神经元对应的抽象操作具有依赖关系。
[0010]在一种实施方式中，若干所述类别包括两类，所述将所述原始神经网络转化为等价神经网络，包括：
[0011]以反向逐层的顺序，将所述原始神经网络中除输出神经元之外的每一原始神经元分裂为第一神经元和第二神经元，得到所述等价神经网络，其中，所述第一神经元和所述第
二神经元分别对应不同的网络输出单调性影响。
[0012]在一种实施方式中，每一所述原始神经元对应的所述第一神经元和所述第二神经元的入边和偏置均为该原始神经元对应的入边和偏置；该第一神经元对应的出边为该原始神经元与相邻层中的第一神经元连接的正权重出边，以及与相邻层中的第二神经元连接的负权重出边；该第二神经元对应的出边为该原始神经元与相邻层中的第二神经元连接的正权重出边，以及与相邻层中的第一神经元连接的负权重出边。
[0013]在一种实施方式中，所述抽象操作包括合并操作和/或删除操作：
[0014]所述合并操作为：将所述等价神经网络每一层中每两个所述第一神经元合并为一个第一抽象神经元、每两个所述第二神经元合并为一个第二抽象神经元；
[0015]所述删除操作为：将基于入边权重差距大于预设值的两个所述第一神经元生成的所述第一抽象神经元和/或基于入边权重差距大于预设值的两个所述第二神经元生成的所述第二抽象神经元作为所述删除神经元；
[0016]若所述删除神经元为第一抽象神经元，将该删除神经元对应的激活值调节为该第一抽象神经元对应的激活范围的上限值；
[0017]若所述删除神经元为第二抽象神经元，将该删除神经元对应的激活值调节为该第二抽象神经元对应的激活范围的下限值。
[0018]在一种实施方式中，每一所述第一抽象神经元的入边取值由合并生成该第一抽象神经元的两个所述第一神经元的入边取值的最大值确定，该第一抽象神经元的出边取值由合并生成该第一抽象神经元的两个所述第一神经元分别对应的出边的和确定；每一所述第二抽象神经元的入边取值由合并生成该第二抽象神经元的两个所述第二神经元的入边取值的最小值确定，该第二抽象神经元的出边取值由合并生成该第二抽象神经元的两个所述第二神经元分别对应的出边的和确定。
[0019]在一种实施方式中，所述目标神经元的确定方法，包括：
[0020]获取所述抽象神经网络对应的抽象操作序列，其中，所述抽象操作序列包括若干操作元素，每一所述操作元素用于反映一次抽象操作，或合并操作，或删除操作；
[0021]确定若干所述操作元素之间的依赖关系，根据若干所述操作元素之间的依赖关系构建有向无环图，其中，所述有向无环图中每一节点为一个所述操作元素，每一有向边用于反映两个节点之间的依赖关系；
[0022]根据所述有向无环图确定所述目标神经元，其中，所述目标神经元对应的节点不位于任何有向边所指向的顶点。
[0023]在一种实施方式中，所述依赖关系基于所述抽象操作发生的先后顺序确定，所述依赖关系的定义为：
[0024]第K层的抽象操作与发生在该抽象操作之前的第J层的删除操作具有依赖关系(其中J>K)；
[0025]第K层的合并操作与产生用于执行该合并操作的两个神经元的合并操作具有依赖关系；
[0026]第K层的合并操作与第K+1层的合并操作和第K
‑
1层的合并操作具有依赖关系，其中，K为非负数。
[0027]第二方面，本专利技术实施例还提供一种神经网络的抽象精化装置，其中，所述装置包
括：
[0028]转化模块，用于获取原始神经网络，将所述原始神经网络转化为等价神经网络，其中，所述等价神经网络和所述原始神经网络具有相同的输入输出关系，且所述等价神经网络中包括若干类别的神经元；
[0029]抽象模块，用于根据若干所述类别对所述等价神经网络进行抽象操作，得到抽象神经网络，其中，所述抽象神经网络对应的神经元数量小于所述等价神经网络对应的神经元数量，且所述抽象神经网络中包含一个或者若干删除神经元，每一所述删除神经元的激活值为固定值；
[0030]精化模块，用于对所述抽象神经网络进行性质验证，当基于所述性质验证获取到所述抽象神经网络对应的伪反例时，根据所述伪反例对所述抽象神经网络中的目标神经元进行精化操作，得到精化神经网络，其中，所述精化操作为所述抽象操作的逆操作，所述抽象神经网络中无任何一个神经元对应的抽象操作与所述目标神经元对应的抽象操作具有依赖关系。
[0031]第三方面，本专利技术实施例还提供一种终端，其特征在于，所述终端包括有存储器和一个或者一个以上处理器；所述存储器存储有一个或者一个以上的程序；所述程序包含用于执行如上述任一所述的神经网络的抽象精化方法的指令；所述处理器用于执行所述程序。
[0032]第四方面，本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的抽象精化方法，其特征在于，所述方法包括：获取原始神经网络，将所述原始神经网络转化为等价神经网络，其中，所述等价神经网络和所述原始神经网络具有相同的输入输出关系，且所述等价神经网络中包括若干类别的神经元；根据若干所述类别对所述等价神经网络进行抽象操作，得到抽象神经网络，其中，所述抽象神经网络对应的神经元数量小于所述等价神经网络对应的神经元数量，且所述抽象神经网络中包含一个或者若干删除神经元，每一所述删除神经元的激活值为固定值；对所述抽象神经网络进行性质验证，当基于所述性质验证获取到所述抽象神经网络对应的伪反例时，根据所述伪反例对所述抽象神经网络中的目标神经元进行精化操作，得到精化神经网络，其中，所述精化操作为所述抽象操作的逆操作，所述抽象神经网络中无任何一个神经元对应的抽象操作与所述目标神经元对应的抽象操作具有依赖关系。2.根据权利要求1所述的神经网络的抽象精化方法，其特征在于，若干所述类别包括两类，所述将所述原始神经网络转化为等价神经网络，包括：以反向逐层的顺序，将所述原始神经网络中除输出神经元之外的每一原始神经元分裂为第一神经元和第二神经元，得到所述等价神经网络，其中，所述第一神经元和所述第二神经元分别对应不同的网络输出单调性影响。3.根据权利要求2所述的神经网络的抽象精化方法，其特征在于，每一所述原始神经元对应的所述第一神经元和所述第二神经元的入边和偏置均为该原始神经元对应的入边和偏置；该第一神经元对应的出边为该原始神经元与相邻层中的第一神经元连接的正权重出边，以及与相邻层中的第二神经元连接的负权重出边；该第二神经元对应的出边为该原始神经元与相邻层中的第二神经元连接的正权重出边，以及与相邻层中的第一神经元连接的负权重出边。4.根据权利要求2所述的神经网络的抽象精化方法，其特征在于，所述抽象操作包括合并操作和/或删除操作：所述合并操作为：将所述等价神经网络每一层中每两个所述第一神经元合并为一个第一抽象神经元、每两个所述第二神经元合并为一个第二抽象神经元；所述删除操作为：将基于入边权重差距大于预设值的两个所述第一神经元生成的所述第一抽象神经元和/或基于入边权重差距大于预设值的两个所述第二神经元生成的所述第二抽象神经元作为所述删除神经元；若所述删除神经元为第一抽象神经元，将该删除神经元对应的激活值调节为该第一抽象神经元对应的激活范围的上限值；若所述删除神经元为第二抽象神经元，将该删除神经元对应的激活值调节为该第二抽象神经元对应的激活范围的下限值。5.根据权利要求4所述的神经网络的抽象精化方法，其特征在于，每一所述第一抽象神经元的入边取值由合并生成该第一抽象神经元的两个所述第一神经元的入边取值的最大值确定，该第一抽象神经元的出边取值由合并生成该第一抽象神经元的两个所述第一神经元分别对应的出边的和确定；每一所述第二...

【专利技术属性】
技术研发人员：刘嘉祥，邢云汉，施晓牧，许智武，明仲，
申请(专利权)人：深圳大学，
类型：发明
国别省市：