模糊神经网络BP训练过程中的步长优化方法技术
The step size optimization method in the BP training process of fuzzy neural network
On the basis of the batch gradient descent (BGD), a BP algorithm for step size optimization is proposed. In each iteration, backpropagation algorithm is used to calculate the gradient of cost function. Then the cost function's two order derivative of step size is calculated along the gradient direction. Finally, the optimal step size is estimated by using first and two derivative information, and the parameters are adjusted. On the one hand, the proposed method avoids the step length selection problem; on the other hand, the efficiency of each parameter adjustment can be improved because of the use of the two derivative information.
【技术实现步骤摘要】
模糊神经网络BP训练过程中的步长优化方法
本专利技术涉及模糊神经网络BP训练过程中的步长优化方法，属于优化算法领域。
技术介绍
模糊神经网络是模糊系统同神经网络相结合的产物，作为模糊系统，能够很好地描述不确定信息或定性的知识，能充分利用已有的知识来设计系统结构和配置初始值，且现在已能直接从检测数据中提取模糊规则来初始化参数；作为神经网络，能利用BP算法进行自学习，并已证明能以很好的精度逼近期望的模型。因此被广泛应用于智能控制与软测量建模等多个方面。然而，标准的BP算法收敛速度通常较慢，其原因有几方面。首先，标准算法的计算代价过大，需要对每一个样本进行计算后才能调整参数，实践中随机梯度下降法(SGD)是解决这一问题的主要方法[9]，每次迭代中仅根据小部分训练样本对模型参数进行调整，由于减小了每次参数调整的计算代价，当样本信息高度冗余时能得到很快的收敛速度；其次，标准算法仅考虑了一阶导数信息，仅能得到小范围内的最速下降方向但并不能确保方向一定最优，通常利用二阶导数信息，如高斯-牛顿法、柯西-牛顿法，能找到更加合理的参数调整方向并得到更高的训练效率，但是这些类方法需要存...
【技术保护点】
模糊神经网络BP训练过程中的步长优化方法，其特征在于，该方法步骤为：步骤1：构造基于Mamdani模型的模糊神经网络，模型描述如下；基于Mamdani模型的模糊神经网络的描述如下：第一层：将精确集合上的输入变量X＝[x1,…,xn]传入模糊神经网络；该层节点数N1＝n，n为输入变量的维数第二层：用mi个语言变量
【技术特征摘要】
1.模糊神经网络BP训练过程中的步长优化方法，其特征在于，该方法步骤为：步骤1：构造基于Mamdani模型的模糊神经网络，模型描述如下；基于Mamdani模型的模糊神经网络的描述如下：第一层：将精确集合上的输入变量X＝[x1,…,xn]传入模糊神经网络；该层节点数N1＝n，n为输入变量的维数第二层：用mi个语言变量来描述精确变量xi，并输出xi隶属于语言变量的隶属度其中i＝1,2…n；li＝1,2…mi；该层节点数(语言变量总数量)，涉及模型参数变量和(语言变量的中心位置和宽度)；第三层：计算模糊规则库中规则Rj对输入变量X的适用度zj(j＝1,2…m；ji＝1,2…mi)；规则Rj的形式如下：thenfisBj其中f是模型的精确输出量，Bj是描述f的语言变量；用乘法推理机计算Rj的适用度该层节点数N3＝m(规则库中的规则数量)；第四层：归一化计算该层节点数N4＝m；第五层：解模糊计算，利用中心平均解模糊器得出模型的精确输出由于设计的是MISO模糊神经网络，所以该层节点数N5＝1；该层涉及模型参数wk，表示语言变量Bk的中心；步骤2：设置精度要求和步长的最大取值αmax步骤3：利用BP算法求出代价函...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。