一种具有标签的神经网络的加速训练方法及系统技术方案

本发明专利技术公开了一种具有标签的神经网络的加速训练方法及系统，方法包括：S1、分批抽取神经网络所使用的样本数据库包括的训练输入集中相同数量不同样本的训练输入，样本数据库中的每个样本均具有对应的标签；S2、将输出层的输出节点个数和样本数据中所有样本对应的标签的维数均扩充为原来的至少两倍；S3、对神经网络的相连两层神经元之间的初始连接权值进行随机初始化，将每批抽取的训练输入依次输入神经网络中，通过误差反向传播算法对神经网络进行训练，得到训练后的神经网络。本发明专利技术的有益效果是：本技术方案提高网络训练速度，能够在更短的训练时间次数内得到更高的精度。

【技术实现步骤摘要】
一种具有标签的神经网络的加速训练方法及系统
本专利技术涉及数据处理领域，特别涉及一种具有标签的神经网络的加速训练方法及系统。
技术介绍
神经网络是一种有力的图像分类识别工具，能够运用于各种场合。例如手写数字识别，人脸识别，利用气象卫星的云图图像预测天气，交通系统中的智能车牌识别等。构建神经网络模型并投入识别分类使用的关键是网络的训练。这个训练典型地通过已知数据库及初始化权重来进行。但是，现有的训练方法比较缓慢，准确度也不高。
技术实现思路
本专利技术提供了一种具有标签的神经网络的加速训练方法及系统，解决了现有技术的技术问题。本专利技术解决上述技术问题的技术方案如下：一种具有标签的神经网络的加速训练方法，包括：S1、分批抽取神经网络所使用的样本数据库包括的训练输入集中相同数量不同样本的训练输入，所述样本数据库中的每个样本均具有对应的标签，所述神经网络包括：依次连接的输入层、第一卷积层、第一子抽样层、第二卷积层、第二子抽样层、全连接隐层和输出层；S2、将所述输出层的输出节点个数和所述样本数据库中所有样本对应的标签的维数均扩充为原来的至少两倍；S3、对所述神经网络的相连两层神经元之间的初始连接权值进行随机初始化，将每批抽取的所述训练输入依次输入所述神经网络中，通过误差反向传播算法对所述神经网络进行训练，得到训练后的神经网络。本专利技术的有益效果是：本技术方案通过多组训练数据样本复合调整整个网络，更快收敛到最佳值，对输出进行扩充，提高网络训练速度，能够在更短的训练时间次数内得到更高的精度。在上述技术方案的基础上，本专利技术还可以做如下改进。优选地，在训练过程完成后，还包括：S4、将所述样本数据库包括的测试输入集输入所述训练后的神经网络中，得到所述测试输入集中每个测试样本包括的测试输入对应的测试输出；S5、根据所述测试输出对所述测试输入集中所有测试样本进行分类，得到分类结果，根据所述分类结果对所述测试输入集中所有样本对应的标签进行验证，得到所述训练后的神经网络的分类准确率。优选地，步骤S5中，通过maxout分类器对所述测试输入集中所有测试样本进行分类。一种具有标签的神经网络的加速训练系统，包括：抽取模块，用于分批抽取神经网络所使用的样本数据库包括的训练输入集中相同数量不同样本的训练输入，所述数据库中的每个样本均具有对应的标签，所述神经网络包括：依次连接的输入层、第一卷积层、第一子抽样层、第二卷积层、第二子抽样层、全连接隐层和输出层；扩充模块，用于将所述输出层的输出节点个数和所述样本数据库中所有样本对应的标签的维数均扩充为原来的至少两倍；训练模块，用于对所述神经网络的相连两层神经元之间的初始连接权值进行随机初始化，将每批抽取的所述训练输入依次输入所述神经网络中，通过误差反向传播算法对所述神经网络进行训练，得到训练后的神经网络。优选地，还包括：测试模块，用于将所述样本数据库包括的测试输入集输入所述训练后的神经网络中，得到所述测试输入集中每个测试样本包括的测试输入对应的测试输出；验证模块，用于根据所述测试输出对所述测试输入集中所有测试样本进行分类，得到分类结果，根据所述分类结果对所述测试输入集中所有样本对应的标签进行验证，得到所述训练后的神经网络的分类准确率。优选地，所述验证模块具体用于通过maxout分类器对所述测试输入集中所有测试样本进行分类。附图说明图1为本专利技术实施例提供的一种具有标签的神经网络的加速训练方法的流程示意图；图2为本专利技术另一实施例提供的一种具有标签的神经网络的结构示意图；图3为本专利技术另一实施例提供的一种具有标签的神经网络的加速训练方法的流程示意图；图4为本专利技术另一实施例提供的一种具有标签的神经网络的加速训练系统的结构示意图；图5为本专利技术另一实施例提供的一种具有标签的神经网络的加速训练系统的结构示意图；图6为本专利技术另一实施例提供的一种图像识别装置的结构示意图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，一种具有标签的神经网络的加速训练方法，包括：S101、分批抽取神经网络所使用的样本数据库包括的训练输入集中相同数量不同样本的训练输入，样本数据库中的每个样本均具有对应的标签，神经网络包括：依次连接的输入层、第一卷积层、第一子抽样层、第二卷积层、第二子抽样层、全连接隐层和输出层；S102、将输出层的输出节点个数和样本数据库中所有样本对应的标签的维数均扩充为原来的至少两倍；S103、对神经网络的相连两层神经元之间的初始连接权值进行随机初始化，将每批抽取的训练输入依次输入神经网络中，通过误差反向传播算法对神经网络进行训练，得到训练后的神经网络。标签处理方法：对于标签处理方法，其核心是将网络输出层变形，将原输出层节点数k扩为m*k。原每个样本的输出标签为k维列向量，新输出标签按如下变形:其中，Y为输出向量，y为输出层节点标签值。标签处理方法的示例性实施例中，针对mnist手写数字图片进行识别分类，原训练数据样本集中每个样本标签有10维分别对应数字0-9，网络结构进行变形后，输出节点扩充为10*n个，训练数据库的输出维数相应扩充，新输出数据(10*n维)由n个原输出数据(10维)依次排列而成。进行网络训练时，此10*n个输出节点值均参与计算误差并回传，假设训练输出集中某样本本来是0100000000，扩充两倍就是01000000000100000000，然后输出层节点就成了20个，训练的时候就是这20个一起计算误差回传；进行分类识别时，新的样本标签由n个0-9数字的标签依次排列而成，利用maxout分类器进行标签比较，所得最大值即为“优胜者”(例如，第1、11、21、…个输出标签对应的均为数字0)，通过观察其所对应标签与维数是否相符来验证分类准确率。简单来说，这个样本集包含很多个样本，一个样本输入有一大堆，输出一开始有10个，比如有500个样本，输出集就是个10x500的表格，每一列的10个就是每一个样本的10个输出数据，这10个数字只有一个是1，其他的是0。它的标签意思就是比如第一位是1，说明这个数字样本是0，第二位是1就说明是1，以此类推标签就是0-9了。神经网络具有：输入层，训练数据被输入到输入层中；输出层，从输出层生成输出；第一卷积层，第一卷积层以由随机权值组成的不同卷积核与输入层连接；第一子抽样层，第一卷积层经过平均采样得到第一子抽样层；第二卷积层，第二卷积层以由随机权值组成的不同卷积核与第一子抽样层连接；第二子抽样层，第二卷积层经过平均采样得到第二子抽样层；全连接隐层，全连接隐层(全连接层)由第二子抽样层行列展开所得以随机权重与输出层相连。该训练过程涉及访问训练数据样本集，训练数据样本集中的每个训练数据样本具有分配到其上的对应标签。之后每个数据样本被一个接一个地输入到输入层中，直到全部样本输入一次视为完成一轮训练。训练过程是将训练数据样本分批输入神经网络，每一批抽取相同数量的不相同样本进行训练，经由误差反向传播(BPback-propagation)过程设置各层间关联的权重，每一批样本更新一次权重，使得从输出层生成的输出匹配于训练数据样本关联的标签。BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时本文档来自技高网...

【技术保护点】
1.一种具有标签的神经网络的加速训练方法，其特征在于，包括：S1、分批抽取神经网络所使用的样本数据库包括的训练输入集中相同数量不同样本的训练输入，所述样本数据库中的每个样本均具有对应的标签，所述神经网络包括：依次连接的输入层、第一卷积层、第一子抽样层、第二卷积层、第二子抽样层、全连接隐层和输出层；S2、将所述输出层的输出节点个数和所述样本数据库中所有样本对应的标签的维数均扩充为原来的至少两倍；S3、对所述神经网络的相连两层神经元之间的初始连接权值进行随机初始化，将每批抽取的所述训练输入依次输入所述神经网络中，通过误差反向传播算法对所述神经网络进行训练，得到训练后的神经网络。

【技术特征摘要】
1.一种具有标签的神经网络的加速训练方法，其特征在于，包括：S1、分批抽取神经网络所使用的样本数据库包括的训练输入集中相同数量不同样本的训练输入，所述样本数据库中的每个样本均具有对应的标签，所述神经网络包括：依次连接的输入层、第一卷积层、第一子抽样层、第二卷积层、第二子抽样层、全连接隐层和输出层；S2、将所述输出层的输出节点个数和所述样本数据库中所有样本对应的标签的维数均扩充为原来的至少两倍；S3、对所述神经网络的相连两层神经元之间的初始连接权值进行随机初始化，将每批抽取的所述训练输入依次输入所述神经网络中，通过误差反向传播算法对所述神经网络进行训练，得到训练后的神经网络。2.根据权利要求1所述的一种具有标签的神经网络的加速训练方法，其特征在于，在训练过程完成后，还包括：S4、将所述样本数据库包括的测试输入集输入所述训练后的神经网络中，得到所述测试输入集中每个测试样本包括的测试输入对应的测试输出；S5、根据所述测试输出对所述测试输入集中所有测试样本进行分类，得到分类结果，根据所述分类结果对所述测试输入集中所有样本对应的标签进行验证，得到所述训练后的神经网络的分类准确率。3.根据权利要求2所述的一种具有标签的神经网络的加速训练方法，其特征在于，步骤S5中，通过maxout分类器对所述测试输入集中所有测试样本进行分类。4.一种具有...

【专利技术属性】
技术研发人员：夏丹，谭君洋，董世运，李恩重，徐滨士，朱洪浩，
申请(专利权)人：中国人民解放军陆军装甲兵学院，
类型：发明
国别省市：北京,11