【技术实现步骤摘要】
一种基于改进Levenberg
‑
Marquardt的径向基神经网络优化方法
[0001]本专利技术属于参数优化
，涉及基于数据驱动的流程工业过程参数优化技术，特别是涉及一种保证网络模型稳定性的方法。
技术介绍
[0002]过去的几十年里，人工神经网络(artificial neural network，ANN) 在求解非线性和复杂系统方面得到了广泛发展。在不同类型的神经网络中，径向基神经网络(radial basis function neural network，RBFNN) 以简单的结构和强大的逼近能力，在非线性建模、智能控制、模式识别等领域得到了广泛应用。然而，RBFNN的构建还存在一些困难，其中一个重要问题是神经网络中参数的确定(中心、宽度和连接权值)。
[0003]为了调整RBFNN的网络参数，众多学者提出了一系列算法。其中，常用算法有梯度下降法、反向传播(back propagation，BP)法和二阶算法。BP算法是最经典和最著名的方法之一，然而，BP算法训练时间过长，且极易陷...
【技术保护点】
【技术特征摘要】
1.一种基于改进Levenberg
‑
Marquardt的径向基神经网络优化方法，其特征在于：A典型样本(TS)选取：TS是一个小批量的样品集，用来近似样本整体，TS表示如下TS＝{(x
n
,y
n
,a
n
,b
n
),n＝1,2,
…
,N,}(1)式中，N表示TS的大小，即现有样本个数。x
n
，y
n
，a
n
，b
n
分别为TS中第n个样本的输入向量、输出、活度和密度；两个样本之间的欧氏距离为E
i,j
＝||x
i
‑
x
j
||+||y
i
‑
y
j
||(2)其中，1≤i，j≤N；典型样本中的样本应具有足够的多样性，用该样本与其他样本之间的最小距离来表示，即第i个样本的多样性为D
i
＝min(E
i,1
,E
i,2
,
…
,E
i,i
‑1,E
i,i+1
,
…
,E
i,N
)(3)式中，min(
·
)表示取最小值，E
i,1
表示第i个样本与第1个样本的欧氏距离；同理，括号内分别给出了第i个样本与第2,3,
…
,N个样本的欧式距离；新的样品到达时，TS更新如下:step1添加样品:当TS中的样本数小于N
max
时，将此新样本直接添加到TS中，参数设置为式中，N
max
为预定义的TS最大值，即样本容量；x
new
和y
new
为新样本的输入和输出；除此新样本外，其他样本的活性值降1；step2删除样本:将活性值为0的样本从TS中删除；step3合并相似样本:当TS中的样本数大于N
max
时，将差异最小的两个样本进行合并；假设第i和第j个样本间差异最小即min(E
i,j
)且满足1<i≠j<N；合并后新样本的参数为a
merge
＝max(a
i
,a
j
)(5)b
merge
＝b
i
+b
j
(6)x
merge
＝x
i
,y
merge
＝y
i
ifD
i,
‑
j
<D
j,
‑
i
(7)x
merge
＝x
j
,y
merge
＝y
j
ifD
i,
‑
j
≥D
j,
‑
i
(8)式中，max(
·
)表示取最大值，a
merge
、b
merge
分别表示i、j合并后的样本活度和密度，D
i，
‑
j
为删除第j个样本后第i个样本的多样性，则将第i个样本的输入和输出赋值给合并后样本的输入x
merge
和输出y
merge
；B改进的LM参数优化方法：1)首先，给出传统基于LM方法的参数更新表达式式中，c
ji,t+1
表示t+1时刻第j个隐层神经元中第i个元素的中心，σ
j,t+1
，w
j,t+1
分别表示t+
1时刻第j个隐层神经元的宽度和输出权值，Q
t
为t时刻的拟Hessian矩阵,I为与Q
t
大小相同的单位矩阵,μ表示学习因子，[
·
]
‑1表示矩阵的逆，为易于理解和描述，[
·
]
‑1在本申请中称作参数更新的学习率，简称为学习率；E
t
＝(o
t
‑
y
t
)2/2表示网络的代价函数；o
t
和y
t
分别表示t时刻模型输出和样本真实输出；基于代价函数E
t
对中心c、宽度σ和权值w的二阶偏导数,得到拟Hessian矩阵Q
t
式中，e
t
＝o
t
‑
y
t
表示t时刻模型输出(o
t
)和样本真实输出(y
t
)之间的偏差；c
j,i
表示第j个隐层神经元第i个元素的中心，例c
K,1
表示第K个隐层神经元的第1个元素的中心，K为隐层神经元的个数；w
j
表示第j个隐层神经元与输出层之间的权值；综和公式(9)
‑
(10)，可得且
式中，A
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。