多项前递网络系统技术方案

一种多项前递网络，其中包括整体网络构建单元，第一层为输入层，最后一层为输出层；基本连接单元，用于使除输入层外每一层连接单元连接至前一层连接单元；多项前递单元，用于使除输入层外至少一层的至少一个连接单元还连接至前多层的连接单元。通过将输入层的结果传递到后续更深的层中，从而保证输入信息可以高效的传递的整个网络，从而使得网络更加准确的反应输入数据集的特征，进而提高精度。

【技术实现步骤摘要】
多项前递网络系统
本公开涉及计算机领域，进一步涉及人工智能领域。
技术介绍
神经网络算法已成为许多不同领域中最先进的算法，如图像识别领域、语音识别领域和自然语言处理领域。这其中最为主要的网络主要是深度学习。这些网络的训练方法基本是采用反向传播算法(Back-propagation，BP)。反向传播算法是一个有监督的学习训练方法，误差(网络实际输出值和期望输出之间的误差)通过梯度从输出端反向传播回输入端，从而可以根据传播的梯度相应的修改。然而现在主流的神经网络中动辄十几层甚至于上百层，这使得输出端的误差反向传播的值越来越小(这被称之为梯度消失，gradientvanish)，输入端附近的权值基本不能进行高效的训练，从而使得整个网络的训练很难高效快速进行，也极大的影响了整个训练得到网络的精度(误差增加，accuracydegradation)。上述现有技术存在如下技术缺陷，在现有的网络中，网络路径是固定的，连接参数也是也固定，并没有解决由于梯度消失带来训练低效的问题。公开内容根据本公开的一方面，提供一种多项前递网络的构建方法，其中包括：构建含多层的神经网络，每一层均包含有神经元，第一层为本文档来自技高网...

【技术保护点】
1.一种多项前递网络系统，其中包括：整体网络构建单元：用于构建含多层的神经网络，每一层均包含有神经元，第一层为输入层，最后一层为输出层；基本连接单元：用于使除输入层外每一层的神经元通过含权重的突触连接至前一层的神经元；多项前递单元：用于使除输入层外至少一层的至少一个神经元还通过含权重的突触连接至前多层的神经元。

【技术特征摘要】
1.一种多项前递网络系统，其中包括：整体网络构建单元：用于构建含多层的神经网络，每一层均包含有神经元，第一层为输入层，最后一层为输出层；基本连接单元：用于使除输入层外每一层的神经元通过含权重的突触连接至前一层的神经元；多项前递单元：用于使除输入层外至少一层的至少一个神经元还通过含权重的突触连接至前多层的神经元。2.根据权利要求1所述的系统，其特征在于，所述神经网络为BP神经网络。3.根据权利要求1或2所述的系统，其特征在于，除输入层外的每一层的神经元连接到前一层以及前多层所有的神经元，其所连接的权重值保持一致，或相互独立，或分组独立。4.根据权利要求1-3任一所述的系统，其特征在于，除输入层外的每一层的神经元连接到前一层的所有神经元以及前多层的部分神经元，其所连接的权重值保持一致，或相互独立，或分组独立。5.根据权利要求1-4任一所述的系统，其特征在于，设定除输入层外某一层为第L层，则第L层神经元的输出NL满足以下条件：其中，Si，L是第i层和第L层的连接突触的权值，Fi是第i层连接到第L层的所需要的计算函数，GL则是第L层神经元输出的计算函数，Ni为第i层神经元的输出。6.根据权利要求5所述的系统，其特征在于，第L层中神经元的计算函数GL为y＝x，即7.根据权利要求5所述的系统，其特征在于，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni×Si，L，其中ai为第i层至第L层的前递系数。8.根据权利要求5所述的系统，其特征在于，第L层神经元输出NL的公式中计算函数为Fi＝ai×Ni*Si，L，其中ai为第i层至第L层的前递系数，Ni*Si，L表示两者之间进行卷积运算。9.根据权利要求5所述的系统，其特征在于，...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海,31