一种卷积神经网络模型参数处理方法及系统技术方案

本发明专利技术适用于人工智能技术领域，提供了一种卷积神经网络模型参数处理方法及系统，包括：提取第一卷积神经网络模型每一数据层中权重信息；通过阈值计算方法，计算得出每一数据层阈值；通过置零化处理方法，对权重进行置零化处理，得到第二卷积神经网络模型，记录被置零的权重的总数目；计算权重置零率；对第二卷积神经网络模型进行训练及测试，记录测试结果；根据测试结果及权重置零率，判断第二卷积神经网络模型是否满足要求：若满足要求，输出第二卷积神经网络模型；若不满足要求，返回上述处理操作。从而使卷积神经网络模型参数稀疏化，减小了卷积神经网络模型应用时的计算量并提高了计算效率。

Convolution neural network model parameter processing method and system

The invention is applicable to the technical field of artificial intelligence, provides a convolutional neural network model parameter processing method and system, including: the first convolutional neural network weight information extraction model of each data layer; the threshold calculation method, calculated each data layer threshold; by zero processing method, the weights are set to zero with second convolution neural network model, the total number of records to be zero weight; weight zero rate; for the training and testing of second convolution neural network model, record test results; according to the test results and the weight rate of zero, second convolutional neural network model to determine whether meet the requirements: if meet the requirements. The output of the second convolution neural network model; if it does not satisfy the requirement of the processing operation, return. Thus, the parameters of the convolutional neural network model are sparse, and the computational complexity of the convolutional neural network model is reduced and the computational efficiency is improved.

【技术实现步骤摘要】
一种卷积神经网络模型参数处理方法及系统
本专利技术属于人工智能
，尤其涉及一种卷积神经网络模型参数处理方法及系统。
技术介绍
卷积神经网络是近年来广泛应用在模式识别、图像处理领域的一种高效识别算法，它的权值共享网络结构使之更类似于生物神经网络，降低了网络的复杂度，以二维图像直接作为网络的输入，避免了传统算法中复杂的特征提取和数据重建过程。卷积神经网络(Convolutionalneuralnetwork，CNN)模型中含有大量参数，这不但使得在训练中容易发生过拟合问题，更重要的是，如此多的参数使得其在应用时存在计算量巨大且计算效率低下的问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种卷积神经网络模型参数处理方法及系统，以解决现有技术中卷积神经网络模型的模型参数过多导致的应用时计算量巨大且计算效率低下的问题。为了解决上述技术问题，第一方面，本专利技术实施例提供了一种卷积神经网络模型参数处理方法，包括：获取第一卷积神经网络模型及阈值因子；提取所述第一卷积神经网络模型每一数据层中的权重信息，所述权重信息包括权重及权重的数目；通过预设的阈值计算方法，利用所述权重及所述阈值因子计算得出每一数据层的阈值；通过预设的置零化处理方法，利用所述每一数据层的阈值，对所述第一卷积神经网络模型每一数据层中的权重进行置零化处理，得到第二卷积神经网络模型，并记录被置零的权重的总数目；根据所述被置零的权重的总数目及所述第一卷积神经网络模型中所有数据层权重的总数目计算权重置零率；对所述第二卷积神经网络模型进行训练及测试，记录测试结果；根据所述测试结果及所述权重置零率，判断所述第二卷积神经网络模型是否满足测试结果要求及权重置零率要求：若满足要求，则输出所述第二卷积神经网络模型；若不满足要求，则将第二卷积神经网络模型作为第一卷积神经网络模型，重新获取该第一卷积神经网络模型的阈值因子，返回执行所述提取所述第一卷积神经网络模型每一数据层中的权重信息的操作。进一步地，在所述的获取第一卷积神经网络模型及阈值因子之前还包括：获取第三卷积神经网络模型及衰减系数；通过所述衰减系数对所述第三卷积神经网络模型进行处理，得到第一卷积神经网络模型。进一步地，所述通过预设的阈值计算方法，利用所述权重及所述阈值因子计算得出每一数据层的阈值包括：计算出数据层的权重的标准差；将所述标准差乘以该数据层所对应的所述阈值因子，得出该数据层对应的阈值。进一步地，所述通过预设的置零化处理方法，利用所述的阈值，对所述第一卷积神经网络模型每一数据层中的权重进行置零化处理包括：判断权重与该权重所处数据层对应的阈值的大小关系：若权重小于该权重所处数据层对应的阈值，则将权重置零；若权重不小于该权重所处数据层对应的阈值，则保持权重不变。进一步地，所述记录被置零的权重的总数目同时还包括：记录被置零的权重的位置。第二方面，本专利技术实施例提供了一种卷积神经网络模型参数处理系统，包括：第一获取单元，用于获取第一卷积神经网络模型及阈值因子；提取单元，用于提取所述第一卷积神经网络模型每一数据层中的权重信息，所述权重信息包括权重及权重的数目；第一计算单元，用于通过预设的阈值计算方法，利用所述权重及所述阈值因子计算得出每一数据层的阈值；第一处理单元，用于通过预设的置零化处理方法，利用所述每一数据层的阈值，对所述第一卷积神经网络模型每一数据层中的权重进行置零化处理，得到第二卷积神经网络模型，并记录被置零的权重的总数目；第二计算单元，根据所述被置零的权重的总数目及所述第一卷积神经网络模型中所有数据层权重的总数目计算权重置零率；操作单元，用于对所述第二卷积神经网络模型进行训练及测试，记录测试结果；判别单元，用于根据所述测试结果及所述权重置零率，判断所述第二卷积神经网络模型是否满足测试结果要求及权重置零率要求：若满足要求，则输出所述第二卷积神经网络模型；若不满足要求，则将第二卷积神经网络模型作为第一卷积神经网络模型，重新获取该第一卷积神经网络模型的阈值因子，返回执行所述提取所述第一卷积神经网络模型每一数据层中的权重信息的操作。进一步地，在第一获取单元之前还包括：第二获取单元，用于获取第三卷积神经网络模型及衰减系数；第二处理单元，用于通过所述衰减系数对所述第三卷积神经网络模型进行处理，得到第一卷积神经网络模型。进一步地，第一计算单元包括：计算出数据层的权重的标准差；将所述标准差乘以该数据层所对应的所述阈值因子，得出该数据层对应的阈值。进一步地，第一处理单元包括：判断权重与该权重所处数据层对应的阈值的大小关系：若权重小于该权重所处数据层对应的阈值，则将权重置零；若权重不小于该权重所处数据层对应的阈值，则保持权重不变。进一步地，第一处理单元还包括：记录被置零的权重的位置。在本专利技术实施例中，通过置零化处理使得卷积神经网络模型参数稀疏化，减少了卷积神经网络模型中应用时需要处理的参数，并设置输出模型的检验循环处理机制，使得最终输出卷积神经网络模型参数稀疏化程度与效果得到保障，从而使卷积神经网络模型参数稀疏化，减小了卷积神经网络模型应用时的计算量并提高了计算效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的卷积神经网络模型参数处理方法的实现流程图；图2是本专利技术实施例提供的卷积神经网络模型参数处理方法的实现流程框图；图3是本专利技术实施例提供的实施例具体处理流程图；图4是本专利技术实施例提供卷积神经网络模型参数处理系统的结构框图；具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。本专利技术实施例获取第一卷积神经网络模型及阈值因子；提取所述第一卷积神经网络模型每一数据层中的权重信息，所述权重信息包括权重及权重的数目；通过预设的阈值计算方法，利用所述权重及所述阈值因子计算得出每一数据层的阈值；通过预设的置零化处理方法，利用所述每一数据层的阈值，对所述第一卷积神经网络模型每一数据层中的权重进行置零化处理，得到第二卷积神经网络模型，并记录被置零的权重的总数目；根据所述被置零的权重的总数目及所述第一卷积神经网络模型中所有数据层权重的总数目计算权重置零率；对所述第二卷积神经网络模型进行训练及测试，记录测试结果；根据所述测试结果及所述权重置零率，判断所述第二卷积神经网络模型是否满足测试结果要求及权重置零率要求：若满足要求，则输出所述第二卷积神经网络模型；若不满足要求，则将第二卷积神经网络模型作为第一卷积神经网络模型，重新获取该第一卷积神经网络模型的阈值因子，返回执行所述提取所述第一卷积神经网络模型每一数据层中的权重信息的操作。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。图1与图2示出了本专利技术实施例提供的一种卷积神经网络模型参数处理方法的实现流程图，本文档来自技高网...

【技术保护点】
一种卷积神经网络模型参数处理方法，其特征在于，包括：获取第一卷积神经网络模型及阈值因子；提取所述第一卷积神经网络模型每一数据层中的权重信息，所述权重信息包括权重及权重的数目；通过预设的阈值计算方法，利用所述权重及所述阈值因子计算得出每一数据层的阈值；通过预设的置零化处理方法，利用所述每一数据层的阈值，对所述第一卷积神经网络模型每一数据层中的权重进行置零化处理，得到第二卷积神经网络模型，并记录被置零的权重的总数目；根据所述被置零的权重的总数目及所述第一卷积神经网络模型中所有数据层权重的总数目计算权重置零率；对所述第二卷积神经网络模型进行训练及测试，记录测试结果；根据所述测试结果及所述权重置零率，判断所述第二卷积神经网络模型是否满足测试结果要求及权重置零率要求：若满足要求，则输出所述第二卷积神经网络模型；若不满足要求，则将第二卷积神经网络模型作为第一卷积神经网络模型，重新获取该第一卷积神经网络模型的阈值因子，返回执行所述提取所述第一卷积神经网络模型每一数据层中的权重信息的操作。

【技术特征摘要】
1.一种卷积神经网络模型参数处理方法，其特征在于，包括：获取第一卷积神经网络模型及阈值因子；提取所述第一卷积神经网络模型每一数据层中的权重信息，所述权重信息包括权重及权重的数目；通过预设的阈值计算方法，利用所述权重及所述阈值因子计算得出每一数据层的阈值；通过预设的置零化处理方法，利用所述每一数据层的阈值，对所述第一卷积神经网络模型每一数据层中的权重进行置零化处理，得到第二卷积神经网络模型，并记录被置零的权重的总数目；根据所述被置零的权重的总数目及所述第一卷积神经网络模型中所有数据层权重的总数目计算权重置零率；对所述第二卷积神经网络模型进行训练及测试，记录测试结果；根据所述测试结果及所述权重置零率，判断所述第二卷积神经网络模型是否满足测试结果要求及权重置零率要求：若满足要求，则输出所述第二卷积神经网络模型；若不满足要求，则将第二卷积神经网络模型作为第一卷积神经网络模型，重新获取该第一卷积神经网络模型的阈值因子，返回执行所述提取所述第一卷积神经网络模型每一数据层中的权重信息的操作。2.如权利要求1所述的方法，其特征在于，在所述的获取第一卷积神经网络模型及阈值因子之前还包括：获取第三卷积神经网络模型及衰减系数；通过所述衰减系数对所述第三卷积神经网络模型进行处理，得到第一卷积神经网络模型。3.如权利要求1所述的方法，其特征在于，所述通过预设的阈值计算方法，利用所述权重及所述阈值因子计算得出每一数据层的阈值包括：计算出数据层的权重的标准差；将所述标准差乘以该数据层所对应的所述阈值因子，得出该数据层对应的阈值。4.如权利要求1所述的方法，其特征在于，所述通过预设的置零化处理方法，利用所述的阈值，对所述第一卷积神经网络模型每一数据层中的权重进行置零化处理包括：判断权重与该权重所处数据层对应的阈值的大小关系：若权重小于该权重所处数据层对应的阈值，则将权重置零；若权重不小于该权重所处数据层对应的阈值，则保持权重不变。5.如权利要求1所述的方法，其特征在于，所述记录被置零的权重的总数目同时还包括：记录被置零的权重的位置。6.一种卷积神经网络模型参数处理系统，其特征在于，包括：第一获取...

【专利技术属性】
技术研发人员：陈书楷，朱思霖，
申请(专利权)人：厦门中控生物识别信息技术有限公司，
类型：发明
国别省市：福建,35