动态神经网络模型训练方法和装置制造方法及图纸

本发明专利技术公开了一种动态神经网络模型的训练方法和装置，训练方法包括：将原始一维数据输入到第一层神经元，相应的输出值即该层特征，然后增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到预设值；在最终的输出特征与分类的类别之间建立全连接层，通过BP反向传播算法确定全连接层间的连接系数；其中，将神经元建模为动态神经元；评价模型性能，若性能达到预期，训练结束；反之，继续在生成的网络模型中增加新的神经元层直至模型性能达到预期。本发明专利技术的方法能够更加高效地提取数据特征，从而提高训练效率。

Method and device for training dynamic neural network model

The invention discloses a method and a device for training dynamic neural network model, training methods include: the original input data to one-dimensional neurons in the first layer, the corresponding output value of the character, and then increase the number of neurons, the characteristics of upper output as a layer of neuronal input features of the corresponding layer, repeat the steps until the number reaches the preset value; establishing the connection layer between the output characteristics and classification of the final category, all connection coefficient between layers by BP back propagation algorithm to determine which will be modeled as neurons; dynamic neurons; performance evaluation model, if the performance is expected to reach the end of the training; on the other hand, continue to increase new neurons in the network layer to the performance of the model generated by the model achieve the desired. The method of the invention can extract data characteristics more efficiently so as to improve training efficiency.

【技术实现步骤摘要】
动态神经网络模型训练方法和装置
本专利技术涉及大数据分析处理领域，尤其涉及一种用于一维数据分类的动态神经网络模型的训练方法和装置。
技术介绍
随着大数据时代的到来，文本、语音、图像、视频等数据每日均在大量生成，即使一个小的行业甚至一个企业，每天都在生成大量数据。如何对数据进行分析、处理，从中挖掘、发现事物内在的联系及规律，具有十分重要的现实意义。然而，由于生成的数据量过于庞大，分析与处理难度颇大，该问题具有不小的难度与挑战。在大数据处理过程中，当前主要的研究方法为通过机器学习及深度学习，对研究对象的相关特征进行提取，建立若干规则进行索引或映射，用以实现相关研究对象的辨识或分类。其中，研究效果的好坏很大程度上依赖于信息特征提取的质量，因此，特征提取是数据挖掘及数据处理中一个十分重要的环节。目前特征提取的方法有核技巧法、分割法、降维法、以及神经网络及其变体等。其中，神经网络是当前数据特征提取的一个非常重要的方法，其研究思想为将神经元逐层建模为静态神经元，然后通过一个sigmoid函数来实现特征提取。神经网络的变体——卷积神经网络，主要思想为通过卷积层与池化层的交替作用，逐层实现图像、视频等数据的特征提取，针对最后一层提取到的特征，通过一个全连接层来实现目标对象的分类与辨识。在该模型中，卷积层与池化层的设计是其最重要的一个环节。然而，神经网络及其各种变体均为将神经元建模为静态神经元来展开相关研究，即y＝Wx+b，其中x为神经元输入，y为神经元输出，W为连接输入与输出之间的权重系数，b为截距项。静态神经元仅能刻画输入与输出之间的关系，无法刻画系统输入内部之间的关系。如何更加高效地提取数据特征，从而提高神经网络模型的训练效率，是目前需要本领域技术人员迫切解决的一个技术问题。
技术实现思路
为了解决上述问题，本专利技术针对语音数据等一维数据，提供了一种动态神经网络模型的训练方法，与人工神经网络相比，该方法将单个神经元建模为动态神经元，同时同一层上的神经元具有相同的类型，用于最大限度实现权值共享，降低模型的设计难度，大大减少现有模型的训练强度，提高学习效率。为了实现上述目的，本专利技术采用如下技术方案：一种动态神经网络模型的训练方法，包括以下步骤：步骤一：将原始一维数据输入到第一层神经元，相应的输出值即该层特征；步骤二：增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到预设值；步骤三：在最终的输出特征与分类的类别之间建立全连接层，通过BP反向传播算法确定全连接层间的连接系数；步骤四：评价模型性能，若性能达到预期，训练结束；反之，继续在生成的网络模型中增加新的神经元层直至模型性能达到预期；其中，所述神经元被建模为动态神经元；所述动态神经元的结构为：其中A(l)，B(l)，C(l)分别为nl×nl阶、nl×ml阶、nl×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵，C(l)T表示矩阵C(l)的转置；x(l)，u(l)分别为nl×1、ml×1向量，分别表示一个神经元的状态个数以及能处理的输入数据维数，ml、nl的值与所在的层相关。所述神经网络模型中，同一层神经元具有相同的动态结构，不同层的神经元的动态结构可以相同也可以不同；同一层神经元之间没有连接，不同层的神经元之间连接方式为稀疏连接，每个神经元仅与下层相邻的若干神经元有连接。所述神经元对输入数据进行的处理如下：输入数据经过一层神经元处理后，经过一个状态与输出之间的变换y(1)＝C(1)Tx(1)，即提取到该层特征y(1)，其中矩阵A(1)为该层状态矩阵，满足其特征根具有负实部，矩阵B(1)为该层的拓扑连接，其连接方式为稀疏连接。所述步骤四还包括：若层数达到某一阈值时模型性能还未达到预期，停止增加新的神经元层，对各层神经元结构矩阵进行调整，将调整结果中性能最好的作为最终的模型。所述一维数据多为语音数据，所述神经网络模型用于语音数据主题、情感、语种的分类或者语音辨识。本专利技术还提供了一种动态神经网络模型的训练装置，所述装置包括：模型构建模块，用于神经网络模型的初始化，将原始一维数据输入到第一层神经元，相应的输出值即该层特征；增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到预设值；模型评价模块，用于评价生成的神经网络模型；模型优化模块，用于所述神经网络模型的优化，若性能达到预期，训练结束；反之，继续在生成的网络模型中增加新的神经元层直至模型性能达到预期；所述模型构建模块将神经元建模为动态神经元：其中A(l)，B(l)，C(l)分别为n(l)×n(l)阶、n(l)×m(l)阶、n(l)×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵；x(l)，u(l)分别为n(l)×1、m(l)×1向量，分别表示一个神经元的状态个数以及能处理的输入数据维数，m(l)、n(l)的值与所在的层相关。所述神经网络模型中，同一层神经元具有相同的动态结构，不同层的神经元的动态结构可以相同也可以不同；同一层神经元之间没有连接，不同层的神经元之间连接方式为稀疏连接，每个神经元仅与下层相邻的若干神经元有连接。所述模型构建模块中，神经元提取特征的过程如下：输入数据经过一层神经元处理后，经过一个状态与输出之间的变换y(1)＝C(1)Tx(1)，即提取到该层特征y(1)，其中矩阵A(1)为该层状态矩阵，满足其特征根具有负实部，矩阵B(1)为该层的拓扑连接，其连接方式为稀疏连接。若层数达到某一阈值时模型性能还未达到预期，停止增加新的神经元层，对各层神经元结构矩阵进行调整，将调整结果中性能最好的作为最终的模型。所述一维数据为语音数据，所述神经网络模型用于语音数据主题、情感、语种的分类或者语音辨识。本专利技术的有益效果：1、本专利技术使用动态神经网络模型，同层之间建模为相同的神经元，降低了模型的设计难度。2、模型训练的参数仅为最后全连接层对应的参数，因此训练的参数个数大大减少，降低了模型的训练难度，提高了算法效率，对于语音等一维数据的特征提取起到非常重要的作用，具有很强的实用性。3、根据不同的分类需求，本专利技术训练的神经网络模型可用于语音数据的主题、情感、语种等分类以及不同说话人的语音辨识等多个任务。附图说明图1动态神经网络模型层数训练图；图2为单个神经元的模型的结构图；图3动态神经网络的模型结构图；图4多层动态神经网络特征提取过程流程图；具体实施方式下面结合附图与实施例对本专利技术作进一步说明。图1是动态神经网络的模型结构图。本实施例提供了一种动态神经网络模型的训练方法，传统的神经网络模型将神经元建模为静态神经元来展开相关研究，即y＝Wx+b，其中x为神经元输入，y为神经元输出，W为连接输入与输出之间的权重系数，b为截距项。静态神经元仅能刻画输入与输出之间的关系，无法刻画系统输入内部之间的关系。本专利技术的实施例中，将神经元建模为动态神经元：其中A(l)，B(l)，C(l)分别为n(l)×n(l)阶、n(l)×m(l)阶、n(l)×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵；x(l)，u(l)分别为n(l)×1、m(l)×1向量，分别表示一个神经元的状态个数以及能处理的输入数据维数，m(l)、n(l本文档来自技高网...

【技术保护点】
一种动态神经网络模型的训练方法，其特征是，包括以下步骤：步骤一：将原始一维数据输入到第一层神经元，相应的输出值即该层特征；步骤二：增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到预设值；步骤三：在最终的输出特征与分类的类别之间建立全连接层，通过BP反向传播算法确定全连接层间的连接系数；步骤四：评价模型性能，若性能达到预期，训练结束；反之，继续在生成的网络模型中增加新的神经元层直至模型性能达到预期；其中，所述神经元被建模为动态神经元；所述动态神经元的结构为：

【技术特征摘要】
1.一种动态神经网络模型的训练方法，其特征是，包括以下步骤：步骤一：将原始一维数据输入到第一层神经元，相应的输出值即该层特征；步骤二：增加神经元层数，将上层输出的特征作为下一层神经元的输入，得到相应层的特征，重复该步骤直至层数达到预设值；步骤三：在最终的输出特征与分类的类别之间建立全连接层，通过BP反向传播算法确定全连接层间的连接系数；步骤四：评价模型性能，若性能达到预期，训练结束；反之，继续在生成的网络模型中增加新的神经元层直至模型性能达到预期；其中，所述神经元被建模为动态神经元；所述动态神经元的结构为：其中A(l)，B(l)，C(l)分别为nl×nl阶、nl×ml阶、nl×1阶矩阵，表示神经元状态矩阵、拓扑连接矩阵、以及特征提取矩阵，C(l)T表示矩阵C(l)的转置；x(l)，u(l)分别为nl×1、ml×1向量，分别表示一个神经元的状态个数以及能处理的输入数据维数，ml、nl的值与所在的层相关。2.如权利要求1所述的动态神经网络的训练方法,其特征是，所述神经网络模型中，同一层神经元具有相同的动态结构，不同层的神经元的动态结构可以相同也可以不同；同一层神经元之间没有连接，不同层的神经元之间连接方式为稀疏连接，每个神经元仅与下层相邻的若干神经元有连接。3.如权利要求1所述的动态神经网络模型的训练方法,其特征是，所述神经元对输入数据进行的处理如下：输入数据经过一层神经元处理后，经过一个状态与输出之间的变换y(1)＝C(1)Tx(1)，即提取到该层特征y(1)，其中矩阵A(1)为该层状态矩阵，满足其特征根具有负实部，矩阵B(1)为该层的拓扑连接，其连接方式为稀疏连接。4.如权利要求1所述的动态神经网络模型的训练方法,其特征是，所述步骤五还包括：若层数达到某一阈值时模型性能还未达到预期，停止增加新的神经元层，对各层神经元结构矩阵进行调整，将调整结果中性能最好的作为最终的模型。5.如权利要求1所述的动态神经网络模型的训练方法，其特征是，所述一维数据为语音数据，所述神经网络模型用于语音数据主题、情感、语种的分...

【专利技术属性】
技术研发人员：王强，张化祥，房晓南，王振华，郭培莲，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37