用于生成卷积神经网络的方法和装置制造方法及图纸

本申请实施例公开了用于生成卷积神经网络的方法和装置。该方法的一具体实施方式包括：获取卷积神经网络的目标卷积层的初始输入值和初始权重；根据量化编码的位数，将初始输入值的范围和初始权重的范围分别均匀划分为预设数目个子区间，以分别生成第一输入值集合和第一权重集合；对第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合；将第二输入值集合作为输入，将第二权重集合作为目标卷积层的权重，进行卷积运算；通过迭代训练对初始权重进行修正，直至卷积神经网络满足第一预设条件，生成并存储目标卷积神经网络。该实施方式有助于丰富卷积神经网络的生成方法。

Methods and devices for generating convolution neural networks

The embodiment of the application discloses a method and device for generating convolution neural network. A specific implementation of this method includes obtaining the initial input value and initial weight of the target coiling layer of the convolution neural network, and dividing the range of initial input value and the range of initial weight into a preset number of sub intervals according to the quantized number of digits, in order to separate the first set of input values and the first weight. The second input value set and the second weight set are generated by the first input value and the first weight set in the first weight set, and the second input value set is used as the input, and the second weight set is the weight of the target coiling layer, and the convolution operation is carried out. After iterative training, the initial weights are corrected until convolution neural network satisfies the first preset condition, and the target convolution neural network is generated and stored. The implementation method is helpful to enrich the generation method of convolution neural network.

【技术实现步骤摘要】
用于生成卷积神经网络的方法和装置
本申请实施例涉及计算机
，具体涉及神经网络
，尤其涉及用于生成卷积神经网络的方法和装置。
技术介绍
深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络(ConvolutionNeuralNetwork，简称CNN)就是一种深度的监督学习下的机器学习模型；而深度置信网(DeepBeliefNet，简称DBN)就是一种无监督学习下的机器学习模型。
技术实现思路
本申请实施例提出了用于生成卷积神经网络的方法和装置。第一方面，本申请实施例提供了一种用于生成卷积神经网络的方法，包括：获取卷积神经网络的目标卷积层的初始输入值和初始权重；根据量化编码的位数，将初始输入值的范围和初始权重的范围分别均匀划分为预设数目个子区间，其中，预设数目与量化编码的位数正相关；根据位于预设数目个子区间中的各输入值和各权重，分别生成第一输入值集合和第一权重集合；对第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合；将第二输入值集合作为输入，将第二权重集合作为目标卷积层的权重，进行卷积运算；通过迭代训练对初始权重进行修正，直至卷积神经网络满足第一预设条件，将卷积神经网络作为目标卷积神经网络，并存储该目标卷积神经网络。在一些实施例中，根据量化编码的位数，将初始输入值的范围和初始权重的范围分别均匀划分为预设数目个子区间，包括：将初始输入值的范围放缩至预设范围内，并将该预设范围均匀划分为预设数目个子区间，其中，预设范围的边界值为整数；将初始权重的范围均放缩至预设范围内，并将该预设范围均匀划分为预设数目个子区间。在一些实施例中，根据位于预设数目个子区间中的各输入值和各权重，分别生成第一输入值集合和第一权重集合，包括：将预设范围内的各输入值作为第一输入值，生成第一输入值集合，并将预设范围内的各权重作为第一权重，生成第一权重集合。在一些实施例中，对第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合，包括：根据预设量化方法，对第一输入值集合中的各第一输入值进行量化取整，并将量化取整后的第一输入值作为第二输入值，生成第二输入值集合；根据第一权重集合中的各第一权重的分布概率，对第一权重集合中的各第一权重进行上取整或下取整，并将取整后的第一权重作为第二权重，生成第二权重集合。在一些实施例中，根据量化编码的位数，将初始输入值的范围和初始权重的范围分别均匀划分为预设数目个子区间之前，该方法还包括：统计初始权重的分布信息；根据分布信息，确定初始权重中是否存在满足第二预设条件的初始权重；响应于确定存在满足第二预设条件的初始权重，对满足第二预设条件的初始权重进行处理，其中，处理方法包括截断或缩放满足第二预设条件的初始权重。在一些实施例中，该方法还包括：获取目标卷积神经网络的目标卷积层的初始输入信息；对初始输入信息进行量化取整，得到整数输入值；将整数输入值输入目标卷积层，并与目标卷积层的权重进行卷积运算，生成输出信息。第二方面，本申请实施例提供了一种用于生成卷积神经网络的装置，包括：第一获取单元，配置用于获取卷积神经网络的目标卷积层的初始输入值和初始权重；划分单元，配置用于根据量化编码的位数，将初始输入值的范围和初始权重的范围分别均匀划分为预设数目个子区间，其中，预设数目与量化编码的位数正相关；第一生成单元，配置用于根据位于预设数目个子区间中的各输入值和各权重，分别生成第一输入值集合和第一权重集合；第一量化单元，配置用于对第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合；卷积单元，配置用于将第二输入值集合作为输入，将第二权重集合作为目标卷积层的权重，进行卷积运算；第二生成单元，配置用于通过迭代训练对初始权重进行修正，直至卷积神经网络满足第一预设条件，将卷积神经网络作为目标卷积神经网络，并存储该目标卷积神经网络。在一些实施例中，划分单元包括：第一划分子单元，配置用于将初始输入值的范围放缩至预设范围内，并将该预设范围均匀划分为预设数目个子区间，其中，预设范围的边界值为整数；第二划分子单元，配置用于将初始权重的范围均放缩至预设范围内，并将该预设范围均匀划分为预设数目个子区间。在一些实施例中，第一生成单元进一步配置用于：将预设范围内的各输入值作为第一输入值，生成第一输入值集合，并将预设范围内的各权重作为第一权重，生成第一权重集合。在一些实施例中，第一量化单元包括：第一量化子单元，配置用于根据预设量化方法，对第一输入值集合中的各第一输入值进行量化取整，并将量化取整后的第一输入值作为第二输入值，生成第二输入值集合；第二量化子单元，配置用于根据第一权重集合中的各第一权重的分布概率，对第一权重集合中的各第一权重进行上取整或下取整，并将取整后的第一权重作为第二权重，生成第二权重集合。在一些实施例中，该装置还包括处理单元，配置用于：统计初始权重的分布信息；根据分布信息，确定初始权重中是否存在满足第二预设条件的初始权重；响应于确定存在满足第二预设条件的初始权重，对满足第二预设条件的初始权重进行处理，其中，处理方法包括截断或缩放满足第二预设条件的初始权重。在一些实施例中，该装置还包括：第二获取单元，配置用于获取目标卷积神经网络的目标卷积层的初始输入信息；第二量化单元，配置用于对初始输入信息进行量化取整，得到整数输入值；第三生成单元，配置用于将整数输入值输入目标卷积层，并与目标卷积层的权重进行卷积运算，生成输出信息。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述第一方面中任一实施例所描述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如上述第一方面中任一实施例所描述的方法。本申请实施例提供的用于生成卷积神经网络的方法和装置，通过获取卷积神经网络的目标卷积层的初始输入值和初始权重，从而可以根据量化编码的位数，将两者的范围分别均匀划分为预设数目个子区间，进而可以分别生成第一输入值集合和第一权重集合。其中，预设数目与量化编码的位数正相关。接着，对第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，可以生成第二输入值集合和第二权重集合。之后，可以将第二输入值集合作为目标卷积层的输入，并将第二权重集合作为目标卷积层的权重，以进行卷积运算。也就是说，将目标卷积层的输入值和权重均转换为整数。这样，通过迭代训练可以不断地对初始权重进行修正，直至卷积神经网络满足第一预设条件，从而可以将满足第一预设条件的卷积神经网络作为目标卷积神经网络，本文档来自技高网...

【技术保护点】
1.一种用于生成卷积神经网络的方法，包括：获取卷积神经网络的目标卷积层的初始输入值和初始权重；根据量化编码的位数，将所述初始输入值的范围和所述初始权重的范围分别均匀划分为预设数目个子区间，其中，所述预设数目与所述量化编码的位数正相关；根据位于预设数目个子区间中的各输入值和各权重，分别生成第一输入值集合和第一权重集合；对所述第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合；将所述第二输入值集合作为输入，将所述第二权重集合作为所述目标卷积层的权重，进行卷积运算；通过迭代训练对所述初始权重进行修正，直至所述卷积神经网络满足第一预设条件，将所述卷积神经网络作为目标卷积神经网络，并存储所述目标卷积神经网络。

【技术特征摘要】
1.一种用于生成卷积神经网络的方法，包括：获取卷积神经网络的目标卷积层的初始输入值和初始权重；根据量化编码的位数，将所述初始输入值的范围和所述初始权重的范围分别均匀划分为预设数目个子区间，其中，所述预设数目与所述量化编码的位数正相关；根据位于预设数目个子区间中的各输入值和各权重，分别生成第一输入值集合和第一权重集合；对所述第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合；将所述第二输入值集合作为输入，将所述第二权重集合作为所述目标卷积层的权重，进行卷积运算；通过迭代训练对所述初始权重进行修正，直至所述卷积神经网络满足第一预设条件，将所述卷积神经网络作为目标卷积神经网络，并存储所述目标卷积神经网络。2.根据权利要求1所述的方法，其中，所述根据量化编码的位数，将所述初始输入值的范围和所述初始权重的范围分别均匀划分为预设数目个子区间，包括：将所述初始输入值的范围放缩至预设范围内，并将该预设范围均匀划分为预设数目个子区间，其中，所述预设范围的边界值为整数；将所述初始权重的范围均放缩至所述预设范围内，并将该预设范围均匀划分为所述预设数目个子区间。3.根据权利要求2所述的方法，其中，所述根据位于预设数目个子区间中的各输入值和各权重，分别生成第一输入值集合和第一权重集合，包括：将所述预设范围内的各输入值作为第一输入值，生成第一输入值集合，并将所述预设范围内的各权重作为第一权重，生成第一权重集合。4.根据权利要求1所述的方法，其中，所述对所述第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合，包括：根据预设量化方法，对所述第一输入值集合中的各第一输入值进行量化取整，并将量化取整后的第一输入值作为第二输入值，生成第二输入值集合；根据所述第一权重集合中的各第一权重的分布概率，对所述第一权重集合中的各第一权重进行上取整或下取整，并将取整后的第一权重作为第二权重，生成第二权重集合。5.根据权利要求1所述的方法，其中，所述根据量化编码的位数，将所述初始输入值的范围和所述初始权重的范围分别均匀划分为预设数目个子区间之前，所述方法还包括：统计所述初始权重的分布信息；根据所述分布信息，确定所述初始权重中是否存在满足第二预设条件的初始权重；响应于确定存在满足第二预设条件的初始权重，对满足所述第二预设条件的初始权重进行处理，其中，处理方法包括截断或缩放满足第二预设条件的初始权重。6.根据权利要求1-5之一所述的方法，其中，所述方法还包括：获取所述目标卷积神经网络的目标卷积层的初始输入信息；对所述初始输入信息进行量化取整，得到整数输入值；将所述整数输入值输入所述目标卷积层，并与所述目标卷积层的权重进行卷积运算，生成输出信息。7.一种用于生成卷积神经网络的装置，包括：第一获取单元，配置用于获取卷积神经网络的目标卷积层的初始输入值和初始权重；划分单元，配置用于...

【专利技术属性】
技术研发人员：姜志超，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11