一种大型神经网络并行优化训练方法技术

本发明专利技术公开了一种大型神经网络并行优化训练方法，所述方法包括以下步骤：步骤1，初始化大型神经网络；步骤2，对大型神经网络进行最优训练，包括对神经网络单元进行单元训练，根据识别率最高的神经网络单元的参数对其余神经网络单元进行迁移训练，对大型神经网络进行整体训练；步骤3，对大型神经网络进行最差淘汰训练，在保持大型神经网络识别率最优的前提下依次淘汰识别率低的神经网络单元。本发明专利技术通过对大型神经网络进行最优训练和淘汰训练，能够提升大型神经网络的训练速度和训练效果，同时简化大型神经网络的结构，快速训练出单元最优和整体最优的大型神经网络。和整体最优的大型神经网络。和整体最优的大型神经网络。

【技术实现步骤摘要】
一种大型神经网络并行优化训练方法


[0001]本专利技术涉及神经网络领域，具体是一种大型神经网络并行优化训练方法。

技术介绍

[0002]人工神经网络（Artificial Neural Networks，简写为ANNs）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。为了实现神经网络输出的高准确性，需要对神经网络进行训练。现有神经网络的训练通常都是进行整体训练，向神经网络输入足够多的样本，通过一定算法调整神经网络的结构（调整神经单元之间的连接及权重），使神经网络的输出与预期值相符。
[0003]在构建大型、复杂神经网络时，通常是将现有的已训练好的小型神经网络当作神经单元来构建神经网络，再对大型、复杂神经网络进行整体训练。但现有的已训练好的这些小型神经网络通常是通用模型，在构建一个新需求的大型、复杂神经网络时，不能确保这些小型神经网络良好适配需要构建的大型神经网络。而如果从零开始构建一个全新的大型、复杂神经网络，由于神经单元繁多、结构复杂，现有的训练方法需要较长的时间才能使大型复杂神经网络达到收敛，且现有的训练方法不能很好地优化大型神经网络内神经单元的结构和大型神经神经网络的结构。

技术实现思路

[0004]本专利技术的目的在于解决现有技术的上述问题，提供了一种大型神经网络并行优化训练方法，本专利技术通过对大型神经网络进行最优训练和淘汰训练，能够提升大型神经网络的训练速度和训练效果，同时简化大型神经网络的结构，快速训练出单元最优和整体最优的大型神经网络。
[0005]本专利技术的目的主要通过以下技术方案实现：本专利技术提供了一种大型神经网络并行优化训练方法，所述方法包括以下步骤：步骤1，初始化大型神经网络，包括对神经网络单元的初始化和神经网络单元之间连接结构的初始化；步骤2，对大型神经网络进行最优训练，包括对神经网络单元进行单元训练，根据识别率最高的神经网络单元的参数对其余神经网络单元进行迁移训练，对大型神经网络进行整体训练，在大型神经网络识别率达到设定整体识别率时结束最优训练；步骤3，对大型神经网络进行最差淘汰训练，在保持大型神经网络识别率最优的前提下依次淘汰识别率低的神经网络单元，在神经网络单元数量最少时结束最差淘汰训练。
[0006]优选地，所述步骤2包括：步骤21，对大型神经网络中各神经网络单元并行进行单元训练，达到设定训练次数后单元训练结束，选取各个单元训练过程中识别率最高的网络结构定形对应的神经网络单元；如果存在识别率达到设定单元识别率的神经网络单元，则进行步骤22；如果不存在识
别率达到设定单元识别率的神经网络单元，则重新初始化神经网络单元内最小节点数量及最小节点间连接关系和权重，然后重复步骤21；步骤22，对于同类别的神经网络单元，将识别率最高的神经网络单元的参数迁移至其余神经网络单元，然后对其余神经网络单元并行进行迁移训练，达到设定训练次数后迁移训练结束，选取各个迁移训练过程中识别率最高的网络结构定形对应的神经网络单元；步骤23，对大型神经网络进行整体训练，达到设定训练次数则整体训练结束，选取整体训练过程中识别率最高的网络结构定形大型神经网络；步骤24，对大型神经网络进行测试，如果大型神经网络识别率达到设定整体识别率，则结束最优训练；如果大型神经网络识别率未达到设定整体识别率，则重新初始化神经网络单元之间连接关系和权重，然后重复步骤23。
[0007]优选地，所述步骤23中，重复步骤21的次数达到设定值后大型神经网络识别率仍未达到设定整体识别率时，结束大型神经网络的训练。
[0008]优选地，所述步骤21的重复次数达到设定值后仍不存在识别率达到设定单元识别率的神经网络单元时，结束大型神经网络的训练。
[0009]优选地，所述步骤3包括：步骤31，在保证大型神经网络输入输出不变的前提下，将大型神经网络中识别率最低的神经网络单元淘汰，然后对大型神经网络进行整体训练，选取整体训练过程中识别率最高的网络结构定形大型神经网络；步骤32，整体训练结束后对大型神经网络进行测试，如果大型神经网络识别率不低于上一个步骤31中大型神经网络初始识别率，则重复步骤31；如果大型神经网络识别率低于上一个步骤31中大型神经网络初始识别率，则选取上一个步骤31中进行淘汰前的网络结构定形最终的大型神经网络，然后结束最差淘汰训练。
[0010]综上所述，本专利技术具有以下有益效果：本专利技术采用并行对神经网络单元进行单元训练，并快速训练出识别率高的神经网络单元；将单元训练中识别率最高的神经网络单元的参数迁移至其余神经网络单元，再并行对其余神经网络单元进行迁移训练，以将其余神经网络单元快速训练至高识别率；对大型神经网络进行整体训练，快速训练至高识别率；对结束最优训练的大型神经网络进行最差淘汰训练，减少大型神经网络内神经网络单元数量，简化大型神经网络结构的方法，能够快速训练出单元最优和整体最优的大型神经网络。
[0011]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0012]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0013]图1为本专利技术一个具体实施例的方法流程图。
[0014]图2为本专利技术一个具体实施例步骤2的流程图。
[0015]图3为本专利技术一个具体实施例步骤3的流程图。
具体实施方式
[0016]为了使本专利技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本专利技术实施例，并不用于限定本专利技术实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
[0017]需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0018]本专利技术提供了一种大型神经网络并行优化训练方法，如图1所示，所述方法包括以下步骤：步骤1，初始化大型神经网络，包括对神经网络单元的初始化和神经网络单元之间连接结构的初始化。初始化可为随机初始化，神经网络单元的初始化包括神经网络单元数量、神经网络单元内最小节点数量及最小节点间连接关系和权重等的初始化，神经网络单元之间连接结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大型神经网络并行优化训练方法，其特征在于，所述方法包括以下步骤：步骤1，初始化大型神经网络，包括对神经网络单元的初始化和神经网络单元之间连接结构的初始化；步骤2，对大型神经网络进行最优训练，包括对神经网络单元进行单元训练，根据识别率最高的神经网络单元的参数对其余神经网络单元进行迁移训练，对大型神经网络进行整体训练，在大型神经网络识别率达到设定整体识别率时结束最优训练；步骤3，对大型神经网络进行最差淘汰训练，在保持大型神经网络识别率最优的前提下依次淘汰识别率低的神经网络单元，在神经网络单元数量最少时结束最差淘汰训练。2.根据权利要求1所述的一种大型神经网络并行优化训练方法，其特征在于，所述步骤2包括：步骤21，对大型神经网络中各神经网络单元并行进行单元训练，达到设定训练次数后单元训练结束，选取各个单元训练过程中识别率最高的网络结构定形对应的神经网络单元；如果存在识别率达到设定单元识别率的神经网络单元，则进行步骤22；如果不存在识别率达到设定单元识别率的神经网络单元，则重新初始化神经网络单元内最小节点数量及最小节点间连接关系和权重，然后重复步骤21；步骤22，对于同类别的神经网络单元，将识别率最高的神经网络单元的参数迁移至其余神经网络单元，然后对其余神经网络单元并行进行迁移训练，达到设定训练次数后迁移训练结束，选取各个迁移训练过程中识别率最高的网络结构定形对应的神经网络单元；步骤23，对大型神经网络进行整体训...

【专利技术属性】
技术研发人员：戚建淮，周杰，宋晶，张莉，郑伟范，刁润，
申请(专利权)人：成都市以太节点科技有限公司，
类型：发明
国别省市：