一种基于分布式神经元的RNNLM系统及其设计方法技术方案
【技术实现步骤摘要】
本专利技术属于基于统计的自然语言处理领域，具体涉及基于神经网络语言模型，设计了一种基于分布式神经元的RNNLM系统。主要改变RNNLM结构，通过分布式训练的方法，减少RNNLM系统的训练时间开销，从而在保证减少训练时间开销的前提下能增加RNNLM中神经元数量和训练样本，提高RNNLM的实用性。
技术介绍
Recurrent neural network(RNN)是一种特殊的神经网络，与传统深层神经网络中单向输入数据和处理不同，使用循环连接的隐藏层代替固定的多个层次的隐藏层，这使得RNN可以保存所有的历史信息，构建了理论上近乎完美的神经网络。当前RNN已经广泛应用与非线性任务应用领域，如语音识别、文本检查与生成、SQL攻击检测等，其中RNNLM是当前基于神经网络语言模型领域中的研究热点。但由于需要保存大量历史信息和完成大量矩阵运算，增加隐藏层节点数或训练数据量，均会导致训练时间开销的爆炸性增长，从而难以构建有效的RNNLM；此外当前的神经网络还仅模拟生物神经系统的功能，没有真正具备生物神经元并行的特性，从而导致了增加隐藏层节点数量后训练开销急剧增加的问题。因此提高...
【技术保护点】
一种基于分布式神经元的RNNLM系统设计方法，其特征在于：通过以能并发运行的分布式神经元为中心改变RNNLM系统的结构，设计基于分布式神经元的RNNLM系统来工作；所述设计方法还包括基于分布式神经元的结构设计、分布式神经元自主训练方法和分布式神经元协调方法。
【技术特征摘要】
1.一种基于分布式神经元的RNNLM系统设计方法，其特征在于：通过以能并发运行的分布式神经元为中心改变RNNLM系统的结构，设计基于分布式神经元的RNNLM系统来工作；所述设计方法还包括基于分布式神经元的结构设计、分布式神经元自主训练方法和分布式神经元协调方法。2.根据权利要求1所述的一种基于分布式神经元的RNNLM系统设计方法，其特征在于：所述的分布式神经元自主训练方法包括以下过程：过程一，获取参数；分布式神经元模块从神经元交互节点模块获取与该分布式神经元模块相关的参数，包括输入词在输入层中的位置m，该分布式神经元模块与输入层之间的连接U、分布式神经元模块与输出层之间的连接V、分布式神经元模块与神经元模块之间的连接W、前一次迭代分布式神经元模块的准确率S’.ac、输入层节点的准确率S.ac和输出层节点的错误率Y.er；所述m∈[1,M]，M是输入和输出层节点的数量；过程二，计算分布式神经元正确率；第i个分布式神经元模块使用计算正确率，i(i∈[1,I]，I是分布式神经元的数量)表示该分布式神经元的序号，f是一个sigmoid函数。过程三，计算分布式神经元错误率；第i个分布式神经元模块使用计算错误率；过程四，更新与输出层的连接；第i个分布式神经元模块判断连接更新间隔，如不足连接更新阈值num(num∈N+)，使用Vim＝V'im+Ym.er*Si.ac*α更新分布式神经元模块与输出层之间的连接，其中α(α∈(0,1))表示连接调节率；相反使用Vim＝V'im+Ym.er*Si.ac*α-V'im*β更新分布式神经元模块与输出层之间的连接，其中β(β∈(0,1))表示连接修正率。过程五，更新与上一次隐藏层的连接；第i个分布式神经元模块判断连接更新间隔，如不足连接更新阈值num，使用Wni＝W'ni+α*Si.er*S'n.ac更新分布式神经元模块与前一次迭代隐藏层之间的连接，n(n∈[1,I])是前一次迭代隐藏层中节点的位置；相反使用Wni＝W'ni+α*Si.er*S'n.ac-W'ni*β更新分布式神经元模块与前一次迭代隐藏层之间的连接；过程六，更新与输入层的连接；第i个分布式神经元模块判断连接更新间隔，如不足连接更新阈值num，使用Umi＝U'mi+α*Si.er*Xm.ac更新分布式神经元模块与输入层之间的连接；相反使用Umi＝U'mi+α*Si.er*Xm.ac-U'mi*β更新分布式神经元模块与输入层之间的连接。3...
【专利技术属性】
技术研发人员：牛德姣，蔡涛，彭长生，薛瑞，詹永照，埃法·金斯利，
申请(专利权)人：江苏大学，江苏科海智能系统有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。