一种应用于神经网络的SQRT激活方法技术

本发明专利技术一种新的神经网络的激活方法，涉及计算机深度学习领域。为了克服现有技术鲁棒性差、训练过程中遭遇梯度弥散而导致训练失效以及初始化要求苛刻等不足，本方法使用平方根函数作为神经网络激活函数，在神经网络的训练过程中，数据经线性单元正向传播后，进入激活单元进行激活，激活单元使用平方根函数作为激活函数，将线性单元的每个输出值求其平方值后输出给下一层网络完成激活；数据经线性单元反向传播后，同上进入激活单元激活，此时激活单元使用相应的平方根函数的导数作为激活函数，将线性单元传回的梯度值求平方根导数，然后传递给上一层网络完成误差的反向传播。本本发明专利技术易于实现，鲁棒性强、精度高。

A SQRT activation method applied to neural network

The invention relates to a new activation method of a neural network, which relates to the field of computer deep learning. In order to overcome the shortcomings of the existing technology such as poor robustness, training failure due to gradient dispersion and strict initialization requirements, the square root function is used as the activation function of the neural network. During the training process of the neural network, the data is transmitted forward through the linear unit and then stimulated into the activation unit. Activation unit uses square root function as activation function, and outputs the square value of each output value of linear unit to the next layer network to complete activation. After data is propagated back by linear unit, it enters the activation unit to activate at the same time, the activation unit uses the derivative of the corresponding square root function as activation function. The gradient value returned by the linear element is used to derive the square root, which is then transmitted to the upper network to complete the reverse propagation of the error. The invention is easy to implement, robust and accurate.

【技术实现步骤摘要】
一种应用于神经网络的SQRT激活方法
本专利技术涉及计算机深度学习领域。
技术介绍
在神经网络训练学习和应用的实践中，神经网络的激活过程是将线性分类器转变为非线性分类器的关键环节，激活方法起到了至关重要的作用。FrankRosenblatt1958年在PsychologicalReview的第6期上发表题为Theperception:aprobabilisticmodelforinformationstorageandorganizationinthebrain的文章，提出了感知机模型，该模型可以解决线性分类问题，但由于缺少激活过程，感知机模型无法处理非线性分类的问题，受到很大局限。DERumerlhar1986年在Nature的第3期发表题为Learningrepresentationbyback-propagatingerrors提出了基于BP算法的神经网络，该神经网络模型并没有关注激活方法的选择而直接选用了Sigmoid函数进行激活操作，但Sigmoid激活方法存在安全域狭窄、输出中心非对称等问题，在神经网络训练过程中会导致输出梯度弥散问题，使得训练的神经网络模型崩溃。YLec本文档来自技高网...

【技术保护点】
1.一种新的神经网络的激活方法，其特征在于，该方法使用平方根函数作为神经网络激活函数，在神经网络的训练过程中，数据经线性单元正向传播后，进入激活单元进行激活，激活单元使用平方根函数作为激活函数，将线性单元的每个输出值求其平方值后输出给下一层网络完成激活；数据经线性单元反向传播后，同上进入激活单元激活，此时激活单元使用相应的平方根函数的导数作为激活函数，将线性单元传回的梯度值求平方根导数，然后传递给上一层网络完成误差的反向传播。

【技术特征摘要】
1.一种新的神经网络的激活方法，其特征在于，该方法使用平方根函数作为神经网络激活函数，在神经网络的训练过程中，数据经线性单元正向传播后，进入激活单元进行激活，激活单元使用平方根函数作为激活函数，将线性单元的每个输出值求其平方值后输出给下一层网络完成激活；数据经线性单元反向传播后，同上进入激活单元激活，此时激活单元使用相应的平方根函数的导数作为激活函数，将线性单元传回的梯度值求平方根导数，然后传递给上一层网络完成误差的反向传播。2.根据权利要求1所述的一种新的神经网络的激活方法，其特征在于，具体方法过程表征为：(1)建立神经网络模型，具体实施过程：(11)根据相应样本要求，选择合适的线性过滤器组成神经网络的线性单元；激活单元使用平方根函数作为激活函数构成；线性单元与激活单元构成一层神经网络，多层神经网络叠加构成神经网络模型，其中层数根据样本要求具体选择；(12)依据样本特征选择适应的损失函数作为神经网络的顶层，与多层神经网络连接一起完成神经网络模型的构建；(2)对神经网络进行初始化完成神经网络的搭建后，采用Xavier随机化方法(此技术已属现有技术)对步骤(1)中构建的神经网络模型进行相应的权重、参数初始化，完成神经网络训练的准备工作(3)神经网络模型...

【专利技术属性】
技术研发人员：杨小宇，陈宇飞，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31