一种神经网络的优化方法及装置制造方法及图纸

本发明专利技术实施例公开了一种神经网络的优化方法及装置。该方法包括：获取符合设定精度条件的初始神经网络，确定所述初始神经网络中相邻两层单元节点间的权重参数矩阵；根据设定的删除阈值处理所述权重参数矩阵，确定所述初始神经网络中待删除的单元节点；删除所述单元节点形成优化后的目标神经网络。利用该方法，能够简单高效的对神经网络进行压缩，实现神经网络的优化，由此在基于优化的后神经网络进行人脸识别时，能够达到加快识别处理速度，缩短识别处理时间，降低存储、运行内存以及显存等空间占用的目的。

Method and device for optimizing neural network

The embodiment of the invention discloses an optimization method and a device for a neural network. The method includes: acquiring with neural network initial setting accuracy conditions, determine the weight parameter matrix which is adjacent to the initial neural network in two layer nodes; according to the set threshold delete processing the weight parameter matrix, determined to be deleted except the initial nodes in the neural network; remove the unit node form the target optimized neural network. Using this method, can be simple and efficient compression of the neural network, realize the optimization of the neural network, resulting in the face recognition based on neural network optimization, to speed up the recognition processing speed, shorten the recognition processing time, reduce the storage and operation of memory and memory space occupied by the purpose.

【技术实现步骤摘要】

本专利技术实施例涉及人工神经网络
，尤其涉及一种神经网络的优化方法及装置。
技术介绍
目前，通常基于训练好的神经网络模型(如深度卷积神经网络模型)进行人脸识别。在使用神经网络模型进行人脸识别时，存在的问题如下：1、对图像数据处理计算的复杂度较高，影响运算时间(如，在配置有酷睿i7处理器的电子设备上处理人脸图像时往往要耗费1秒以上的时间)；2、在处理过程中需要占用较大的内存空间或显卡显存空间；3、还需要占用较大存储空间来存放整个神经网络模型。现有的神经网络模型的优化方法，并不能完全解决上述存在的问题，如，采用霍夫曼编码的形式进行的优化，能够保证优化后神经网络模型的处理计算精度，并有效的降低深度神经网络模型的存储空间，但不能降低处理运算的复杂度，缩短运行时间，同时也不能降低处理过程中对内存或显存的空间占用。
技术实现思路
本专利技术实施例提供了一种神经网络的优化方法及装置，能够实现神经网络的优化，达到缩短运行时间、降低装置资源空间占用的目的。一方面，本专利技术实施例提供了一种神经网络的优化方法，包括：获取符合设定精度条件的初始神经网络，确定所述初始神经网络中相邻两层单元节点间的权重参数矩阵；根据设定的删除阈值处理所述权重参数矩阵，确定所述初始神经网络中待删除的单元节点；删除所述单元节点形成优化后的目标神经网络。另一方面，本专利技术实施例提供了一种神经网络的优化装置，包括：参数矩阵确定模块，用于获取符合设定精度条件的初始神经网络，确定所述初始神经网络中相邻两层单元节点间的权重参数矩阵；待删除节点确定模块，用于根据设定的删除阈值处理所述权重参数矩阵，确定所述初始神经网络中待删除的单元节点；目标网络确定模块，用于删除所述单元节点形成优化后的目标神经网络。本专利技术实施例中提供了一种神经网络的优化方法及装置，该方法首先获取符合设定精度条件的初始神经网络，并确定初始神经网络中相邻两层节点间的权重参数矩阵；之后根据设定的删除阈值处于所确定的权重参数矩阵，由此确定初始神经网络中待删除的单元节点；最终在初始神经网络中删除所确定的单元节点形成优化后的目标神经网络。利用该方法，能够简单高效的对神经网络进行压缩，实现神经网络的优化，由此在基于优化的后神经网络进行人脸识别时，能够达到加快识别处理速度，缩短识别处理时间，降低存储、运行内存以及显存等空间占用的目的。附图说明图1为本专利技术实施例一提供的一种神经网络的优化方法的流程示意图；图2a为本专利技术实施例二提供的一种神经网络的优化方法的流程示意图；图2b为本专利技术实施例二提供的一个训练后的初始神经网络的结构图；图2c为本专利技术实施例二中对初始神经网络优化后所形成目标神经网络的结构图；图3a为本专利技术实施例三提供的一种神经网络的优化方法的流程示意图；图3b为本专利技术实施例三中对原目标神经网络深度优化形成的目标神经网络的结构图；图4为本专利技术实施例四提供的一种神经网络的优化装置的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种神经网络的优化方法的流程示意图，该方法适用于对训练学习后的神经网络进行压缩优化的情况，该方法可以由神经网络的优化装置执行，其中该装置可由软件和/或硬件实现，并一般集成在神经网络模型所在的终端设备或服务器平台上。一般地，神经网络主要指人工神经网络，具体可看作一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络中所具有的单元节点至少分为三层，包括了输入层、隐藏层以及输出层，其中，输入层以及输出层均只包含一层单元节点，而隐藏层则至少包含一层单元节点，此外，各层所包含单元节点的个数都可根据不同应用情况设定。具体而言，神经网络的输入层负责接收输入的数据并分发到隐藏层，隐藏层负责对所接收的数据进行计算并将计算结果传递给输出层，输出层负责计算结果的输出，可以理解的是，神经网络中数据的传递及处理主要基于相邻两层单元节点间的连线及连线对应的权重参数值实现。目前，可以基于神经网络进行模式识别(如人脸识别)处理，而在进行模式识别前需要对所创建的神经网络进行训练学习，只有确定神经网络所具有的处理精度满足应用需求时，才可以进行模式识别。需要说明的是，在实际的模式识别处理中，所采用的训练好的神经网络所具有规模一般都很大，由此不仅影响识别处理的运行时间，还占用了更多的存储空间、运行内存以及显存空间，因此可以基于本实施例提供的神经网络的优化方法对训练好的神经网络进行优化，来解决上述问题。如图1所示，本专利技术实施例一提供的一种神经网络的优化方法，包括如下操作：S101、获取符合设定精度条件的初始神经网络，确定初始神经网络中相邻两层单元节点间的权重参数矩阵。在本实施例中，设定精度条件具体可理解为对神经网络进行训练学习后，实际进行应用处理时，神经网络需要达到的处理精度范围。一般地，该设定精度条件可以是系统默认的范围，也可以是人为设置的范围。在本实施例中，被训练学习的神经网络可以通过对标准测试集中所包含样本数据的处理来确定当前能够达到的处理精度，并在当前确定的处理精度符合设定精度条件时，认为神经网络可以进行实际应用处理，同时可将该神经网络称为初始神经网络。一般地，对神经网络的训练学习主要通过设定的训练学习算法实现，由于训练学习算法已经是成熟的技术，这里不再详述。可以理解的是，神经网络的训练学习过程，实际就是神经网络中相邻两层单元节点连线对应的权重参数值不断变更并最终确定的过程。在本实施例中，在获取初始神经网络后，可以根据相邻两层单元节点连线对应的权重参数值来确定相邻两层单元节点间的权重参数矩阵。在本实施例中，对于相邻两层的单元节点而言，如果其中一层的任一单元节点到另一层的任一单元节点间只存在一条连线，则可认为两单元节点间只存在一个权重参数值，此时相邻两层单元节点间可以确定一个二维权重参数矩阵；如果其中一层的任一单元节点到另一层的任一单元节点间至少存在两条连线，或两单元节点间的连线关系需要用函数表示，则可认为两单元节点间对应存在一个权重参数数组(可能是一维数组或二维数组)，此时相邻两层单元节点间可以确定一个多维权重参数矩阵。S102、根据设定的删除阈值处理权重参数矩阵，确定初始神经网络中待删除的单元节点。在本实施例中，可以采用删除初始神经网络中单元节点的方式来实现初始神经网络的优化，由此需要确定初始神经网络中待删除的单元节点。具体地，首先获取设定的删除阈值，然后确定权重参数矩阵中各元素值的绝对值与删除阈值的大小关系；最终可根据元素值的绝对值与删除阈值的大小关系来确定初始神经网络中待删除的单元节点。在本实施例中，可以基于权重参数矩阵中元素值的基本分布规律来设定删除阈值，且所设定的删除阈值为大于0的实数。示例性地，经实际分析发现，权重参数矩阵中的元素值基本分布在数值0的左右两侧，并且值域范围一般为(-0.05,0.05)，此时可优选的将删除阈值设置为0.001。需要说明的是，本实施例只需在首次进行神经网络优化时进行删除阈值的设定，当循环进行神经网络优化时，可保持设定的删除阈值不变或基于其本文档来自技高网...

【技术保护点】
一种神经网络的优化方法，其特征在于，包括：获取符合设定精度条件的初始神经网络，确定所述初始神经网络中相邻两层单元节点间的权重参数矩阵；根据设定的删除阈值处理所述权重参数矩阵，确定所述初始神经网络中待删除的单元节点；删除所述单元节点形成优化后的目标神经网络。

【技术特征摘要】
1.一种神经网络的优化方法，其特征在于，包括：获取符合设定精度条件的初始神经网络，确定所述初始神经网络中相邻两层单元节点间的权重参数矩阵；根据设定的删除阈值处理所述权重参数矩阵，确定所述初始神经网络中待删除的单元节点；删除所述单元节点形成优化后的目标神经网络。2.根据权利要求1所述的方法，其特征在于，确定所述初始神经网络中相邻两层单元节点间的权重参数矩阵包括：如果所述初始神经网络中相邻两层单元节点间的连接为全连接，则基于单元节点间连线对应的权重参数值形成二维权重参数矩阵；如果所述初始神经网络中相邻两层单元节点间的连接为卷积连接，则基于单元节点间连线对应的权重参数数组形成多维权重参数矩阵。3.根据权利要求2所述的方法，其特征在于，根据设定的删除阈值处理所述权重参数矩阵，确定所述初始神经网络中待删除的单元节点包括：如果所述权重参数矩阵为二维权重参数矩阵，则基于所述二维权重参数矩阵中的列向量确定所述初始神经网络中待删除的单元节点；如果所述权重参数矩阵为多维权重参数矩阵，则基于降维后的多维权重参数矩阵确定所述初始神经网络中待删除的单元节点。4.根据权利要求3所述的方法，其特征在于，基于所述二维权重参数矩阵中的列向量确定所述初始神经网络中待删除的单元节点包括：获取所述二维权重参数矩阵中第i列的列向量；如果所述第i列的列向量中包括的权重参数值均小于设定的第一删除阈值，则将相邻两层中第二层的第i个单元节点确定为所述初始神经网络中待删除的单元节点。5.根据权利要求3所述的方法，其特征在于，基于降维后的多维权重参数矩阵确定所述初始神经网络中待删除的单元节点包括：对所述多维权重参数矩阵进行降维处理，形成二维的目标权重参数矩阵；获取所述目标权重参数...

【专利技术属性】
技术研发人员：张玉兵，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44