基于梯度下降法与广义逆的复值神经网络训练方法技术

本发明专利技术涉及一种基于梯度下降法与广义逆的复值神经网络训练方法，步骤一，选择单隐层复值神经网络模型；步骤二，利用梯度下降法和广义逆计算单隐层复值神经网络中的权值矩阵和权值向量，步骤三,根据权值矩阵和权值向量，获取复值神经网络网络参数，进行计算均方误差；将迭代次数加1，返回步骤二。本发明专利技术的隐层输入权值是通过梯度下降法迭代产生，输出权值始终通过广义逆来求解。本方法迭代次数少，相应的训练时间短，收敛速度快，并且学习效率高，同时所需的隐层节点个数少。因此，本发明专利技术比BSCBP方法与CELM方法能够较为准确的反映复值神经网络模型的性能。

Training method of complex valued neural networks based on gradient descent method and generalized inverse

The present invention relates to a gradient descent method and the generalized inverse of the complex valued neural network training method based on step one, choose a single hidden layer complex valued neural network model; step two, by using the gradient descent method and generalized inverse calculation of single hidden layer complex valued neural network and the weight matrix and weight vector, step three, according to the weight matrix and weight vector, obtain the complex valued neural network parameters, calculate the mean square error; and the number of iterations will be 1, return to step two. The input weight of the hidden layer is generated iteratively by the gradient descent method, and the output weights are always solved by generalized inverse. This method has fewer iterations, shorter training time, faster convergence speed and higher learning efficiency. Meanwhile, the required number of hidden nodes is less. Therefore, the invention can accurately reflect the performance of the complex valued neural network model than the BSCBP method and the CELM method.

【技术实现步骤摘要】
基于梯度下降法与广义逆的复值神经网络训练方法
本专利技术属于图像处理、模式识别和通信传输的
，尤其涉及一种基于梯度下降法与广义逆的复值神经网络训练方法。
技术介绍
在图像处理、模式识别和通信传输等方面利用神经网络建模的方法进行样本训练与测试有广泛的应用。在训练样本中的神经网络模型建模，神经网络信号(输入信号和输出信号以及权值参数)，可以为实数值和复数值，从而神经网络分为实值神经网络和复值神经网络。现有的神经网络建模方法多数是建立的实值神经网络模型，但随着电子信息科学的迅速发展，复数值信号越来越频繁地出现在工程实践中，仅考虑实值的计算无法良好的解决实际问题，而复值神经网络可以解决一些实值神经网络所解决不了的问题。复值神经网络是通过复数参数和变量(即信号的输入、输出以及网络权值均为复数)来处理复数信息的神经网络。因此，一系列复值神经网络的模型被陆续提出并加以深入研究。在BatchSplit-ComplexBackpropagationAlgorithm中提出了一种BSCBP方法用于训练复值神经网络。激活函数选择实虚部型激活函数，对隐层输入的实虚部分别激活，避免奇异点的出现；BSCBP方法先给输入权值矩阵以及输出权值矩阵进行随机赋值，再通过梯度下降法进行梯度更新，最后计算测试样本的精度。但是，基于梯度下降法的BSCBP模型需要多次迭代训练，消耗时间长并且学习效率较低。在FullyComplexExtremeLearningMachine中提出了一种CELM方法将ELM方法从实数域扩展到复数域，并应用于非线性信道均衡。CELM只需要设置合适的网络隐层节点个数，对网络的输入权值进行随机赋值，输出层权值的最优解通过最小二乘法得到，激活函数可以选sigmoid函数、(反)三角函数以及(反)双曲函数，与BSCBP不同的是，激活函数对隐层的输入矩阵直接激活。整个过程一次完成，无需迭代，因此具有参数选择容易、学习速度极快的优点。但是CELM方法为了弥补隐层节点参数的随意性选择，往往需要较多的隐层节点个数，且训练精度有待进一步提高。综上所述，BSCBP在训练时速度缓慢，精度较低，CELM方法虽然速度快，但所需要的网络隐层节点数过多，且精度也有待提高，现有技术中对于如何同时解决复值神经网络训练方法中训练速度慢、精度低和网络隐层节点数过多的问题，尚缺乏有效的解决方案。
技术实现思路
本专利技术为了解决上述问题，克服传统的复值神经网络训练方法中无法同时解决训练速度慢、精度低和网络隐层节点数过多的问题，提供一种基于梯度下降法与广义逆的复值神经网络训练方法(GradientbasedGeneralizedComplexNeuralNetworks,简称GGCNN)。为了实现上述目的，本专利技术采用如下技术方案：一种基于梯度下降法与广义逆的复值神经网络训练方法，所述方法步骤包括：(1)选择单隐层复值神经网络模型对样本数据集进行建模；(2)根据步骤(1)中选择的单隐层复值神经网络模型，利用广义逆计算所述单隐层复值神经网络中的权值矩阵，将迭代次数初始值设置为1，利用梯度下降法计算所述单隐层复值神经网络中的权值向量；(3)根据步骤(2)中计算出的所述权值矩阵和所述权值向量，获取复值神经网络网络参数，计算当前样本数据的均方误差；判断当前迭代次数是否等于最大迭代次数，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2)。优选的，所述步骤(1)中的样本数据集包括训练样本数据集或测试数据集。优选的，所述步骤(1)中的所述单隐层复值神经网络模型为：所述单隐层复值神经网络模型中的输入层、隐层和输出层神经元个数分别为L、M和1；给定Q个输入样本，其样本矩阵为Z＝(zij)L×Q＝ZR+iZI，其中，ZR为Z的实部，ZI为Z的虚部；第q个样本的输入为其中，i＝1,2…L；输入样本相应的理想输出矩阵为D＝(d1,d2…dQ)T＝DR+iDI，其中，DR为D的实部，DI为D的虚部；第q个样本的理想输出为dq∈C。优选的，所述单隐层复值神经网络模型中的所述隐层的激活函数为gc:C→C；连接输入层和隐层的权值矩阵为W＝(wij)M×L＝WR+iWI，其中，WR为W的实部，WI为W的虚部；输入层与第i个隐节点的连接权值记为wi＝(wi1,wi2…wiL)∈CL，其中，i＝1,2…M；连接隐层和输出层的权值向量为V＝(v1,v2…vM)T＝VR+iVI，其中，VR为V的实部，VI为V的虚部；第k个隐节点与输出层的连接权值记为vk∈C，其中，k＝1,2…M。优选的，所述步骤(2)中的具体步骤为：(2-1)初始化输入层到隐层的权值矩阵，获取初始权值矩阵W0，W0在给定区间内随机赋值；(2-2)利用梯度下降法和广义逆计算单隐层复值神经网络中的权值矩阵和权值向量。优选的，所述步骤(2-2)中的所述通过广义逆计算隐层到输出层的权值矩阵V的具体步骤为：(2-2a-1)根据步骤(2-1)中的所述初始权值矩阵W0与步骤(1)中的样本矩阵Z计算隐层的输入矩阵U＝(uij)M×Q，(2-2a-2)对矩阵步骤(2-2a-1)中的所述输入矩阵U的实部和虚部分别激活，得到隐层的输出矩阵H＝(hij)M×Q，H＝gc(UR))+igc(UI))＝HR+iHI，其中，HR为H的实部，HI为H的虚部；(2-2a-3)：通过广义逆计算隐层到输出层的权值矩阵V，其中，H为步骤(2-2a-2)中隐层的输出矩阵，D为步骤(1)中的所述理想输出矩阵。优选的，所述步骤(2-2)中的对初始权值矩阵W0进行优化具体步骤为：(2-2b-1)：设置初始迭代次数k＝1，最大迭代次数为K；(2-2b-2)：计算均方误差E关于隐层权值W的梯度；(2-2b-3)：权值更新公式为其中，n＝1,2,…,η为学习率。优选的，所述步骤(2-2b-2)中均方误差E关于隐层权值W的梯度分成两部分计算，先求E对WR的梯度，再求E对WI的梯度，其中，WR为W实部，WI为W的虚部；式中，zq为第q个样本的输入向量，zq,R为第q个样本的输入向量的实部，zq,I为第q个样本的输入向量的虚部，gc为隐层的激活函数，为第q个样本在第m个隐节点处的输入，为第q个样本在第m个隐节点的输入的实部，为第q个样本在第m个隐节点的输入的虚部。优选的，所述步骤(3)中的具体步骤为：(3-1)输出层的激活函数选择线性函数，则输出层的输入等于输出层的输出，网络的实际输出为O＝(o1,o2…oQ)T，第q个样本的实际输出为oq∈C，q＝1,2…Q,将矩阵O分为OR(实部)和OI(虚部)两部分,O＝HTV＝OR+iOI第q个样本的实际输出:其中，vR为隐层到输出层权值向量的实部，vI为隐层到输出层权值向量的虚部，hq,R为第q个样本隐层输出向量的实部，hq,I为第q个样本隐层输出向量的虚部；(3-2)计算当前样本数据的均方误差，判断当前迭代次数k是否等于最大迭代次数K，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2-2b-2)。优选的，所述步骤(3)中的计算当前样本数据的均方误差采用：其中，oq为第q个样本的实际输出，dq为第q个样本的理想输出。本专利技术的有益效果：1、本专利技术的一种基于梯度下降法与广义逆的复值神经网络训练方法，隐层输入权值是通过梯度下降法迭代本文档来自技高网...

【技术保护点】
一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述方法步骤包括：(1)选择单隐层复值神经网络模型对样本数据集进行建模；(2)根据步骤(1)中选择的单隐层复值神经网络模型，利用广义逆计算所述单隐层复值神经网络中的权值矩阵，将迭代次数初始值设置为1，利用梯度下降法计算所述单隐层复值神经网络中的权值向量；(3)根据步骤(2)中计算出的所述权值矩阵和所述权值向量，获取复值神经网络网络参数，计算当前样本数据的均方误差；判断当前迭代次数是否等于最大迭代次数，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2)。

【技术特征摘要】
1.一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述方法步骤包括：(1)选择单隐层复值神经网络模型对样本数据集进行建模；(2)根据步骤(1)中选择的单隐层复值神经网络模型，利用广义逆计算所述单隐层复值神经网络中的权值矩阵，将迭代次数初始值设置为1，利用梯度下降法计算所述单隐层复值神经网络中的权值向量；(3)根据步骤(2)中计算出的所述权值矩阵和所述权值向量，获取复值神经网络网络参数，计算当前样本数据的均方误差；判断当前迭代次数是否等于最大迭代次数，若是，结束训练；若否，将当前迭代次数加1，返回步骤(2)。2.如权利要求1所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(1)中的所述单隐层复值神经网络模型为：所述单隐层复值神经网络模型中的输入层、隐层和输出层神经元个数分别为L、M和1；给定Q个输入样本；其样本矩阵为Z＝(zij)L×Q、输入样本相应的理想输出矩阵为D＝(d1,d2…dQ)T均为复数；第q个样本的输入为其中，i＝1,2…L；第q个样本的理想输出为dq∈C。3.如权利要求2所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(1)中的所述单隐层复值神经网络模型中的所述隐层的激活函数为gc:C→C；连接输入层和隐层的权值矩阵为W＝(wij)M×L＝WR+iWI，其中，WR为W的实部，WI为W的虚部；输入层与第i个隐节点的连接权值记为wi＝(wi1,wi2…wiL)∈CL，其中，i＝1,2…M；连接隐层和输出层的权值向量为V＝(v1,v2…vM)T＝VR+iVI，其中，VR为V的实部，VI为V的虚部；第k个隐节点与输出层的连接权值记为vk∈C，其中，k＝1,2…M。4.如权利要求3所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(2)中的具体步骤为：(2-1)初始化输入层到隐层的权值矩阵，获取初始权值矩阵W0，W0在给定区间内随机赋值；(2-2)利用梯度下降法和广义逆计算单隐层复值神经网络中的权值矩阵和权值向量。5.如权利要求4所述的一种基于梯度下降法与广义逆的复值神经网络训练方法，其特征是：所述步骤(2-2)中的所述通过广义逆计算隐层到输出层的权值矩阵V的具体步骤为：(2-2a-1)根据步骤(2-1)中的所述初始权值矩阵W0与步骤(1)中的样本矩阵Z计算隐层的输入矩阵U＝(uij)M×Q，(2-2a-2)对矩阵步骤(2-2a-...

【专利技术属性】
技术研发人员：桑兆阳，刘芹，龚晓玲，张华清，陈华，王健，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37