基于LWDNN-ARX模型的非线性系统建模方法技术方案

本发明专利技术公开了一种基于LWDNN‑ARX模型的非线性系统建模方法，针对实际工业生产过程中普遍难以获得复杂非线性系统机理数学模型的情况，采用鲁棒性好、精度高的LWDNN‑ARX模型来描述系统的动态特性。本发明专利技术运用线性加权两个深度神经网络、局部线性化方法以及状态相依ARX模型构建出LWDNN‑ARX模型结构，在此基础上，通过梯度下降算法得到LWDNN(线性加权深度神经网络)的参数并选择最优的阶次。本发明专利技术以增加少量计算量为代价提高了系统辨识模型的预测精度和鲁棒性，特别在有大量输入输出训练样本的情况下，具有更多的模态并且模型的预测精度会进一步提升，具有较高的实用价值和应用前景。

Modeling Method of Nonlinear System Based on LWDNN-ARX Model

【技术实现步骤摘要】
基于LWDNN-ARX模型的非线性系统建模方法
本专利技术涉及工程设计与优化领域，特别是一种基于LWDNN-ARX模型的非线性系统建模方法。
技术介绍
工业现场中被控对象的特性往往十分复杂多变，具有工作点时变性、多输入多输出、大滞后、欠驱动、强耦合、不确定性等复杂非线性特性。对于工业现场中复杂对象的控制问题，一般通过系统辨识获得被控对象非线性动态特性的精确模型以及研究不依赖系统精确数学模型的先进控制策略。其中，通过系统辨识得到对象模型的方法具有适用范围广，对物理结构分析依赖性不强等优点，具有很好的应用前景。常用的解决非线性系统的建模方法可以分为三类。第一类是分段线性化，即构造多个线性模型，然后求解多个二次规划问题或者线性矩阵不等式，然而在实际应用中，短时间辨识大量线性模型也有很大的难度；第二类是用非线性模型在线求解一个高阶的带约束的非线性优化问题，非线性带来的直接问题是计算量大，并且在实际控制中不能保证一定有可行解；第三类方法是使用局部线性化的方法，用一个离线辨识的全局非线性、局部线性模型或者在线辨识的仿射模型来描述非线性被控对象，然后在线求解一个QP问题来得到最优控制率。在实际应用中，快速精确地拟合出一个精度很高的模型非常困难，而一般的复杂系统都具有时变工作点，并且可以由一个局部线性模型很好地描述每个工作点处的动态特性。神经网络和SD-ARX结合是局部线性化模型的一种，如RBF-ARX，DBN-ARX等，理论上神经网络在足够深的情况下，可以拟合任意复杂的非线性关系，并且具有参数易于辨识、模型容量大以及具有一定推理能力等优点，然而实际情况下，神经网络有可能存在欠拟合、过拟合以及层数深的情况下梯度消失和爆炸的问题。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于LWDNN-ARX模型的非线性系统建模方法，提高非线性系统辨识模型的预测精度。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于LWDNN-ARX模型的非线性系统建模方法，包括以下步骤：1)根据问题规模构建LWDNN-ARX模型，选择LWDNN-ARX模型的输入阶次p、输出阶次q和状态向量维数d；2)对LWDNN-ARX模型进行前向运算得到预测输出，以预测输出和期望输出的结构风险损失函数最小化为目标，通过反向传播算法进行参数优化，得到最优参数w；3)根据所述最优参数w，计算出基于LWDNN-ARX模型的预测值和损失函数值；4)重复上述步骤1)～步骤3)，选择当损失函数值为最小情况下的阶次作为LWDNN-ARX模型的当前阶次，比较在当前阶次下不同结构的损失函数大小，并选取损失函数值为最小情况下的结构作为当前结构；5)重复上述步骤1)～步骤4)，比较不同阶次不同结构的损失函数，并选取最小损失函数值相应的组合作为最后的LWDNN-ARX模型。步骤1)中，LWDNN-ARX模型的表达式为：其中，为t时刻系统的输出值，即预测输出；为t时刻系统输入值；为高斯白噪声；p和q分别为LWDNN-ARX模型输出和输入回归多项式的阶次；θk为LWDNN的输出值；为系统t-k1时刻输出量的系数；为系统t-k2时刻输入量的系数；α,β下标分别表示两个子网络；η,1-η分别表示两个子网络的加权系数；Nα,Nβ分别表示两个子网络的网络层数；lα,lβ分别表示子网络第l层；jα、jβ分别表示子网络当前层第j个神经元；分别为子网络第l层的网络节点数；两个子网络的激活函数φ(x)都为ReLU函数，表达式为分别为两个子网络第l-1层所有神经元连接l层第j个神经元的权重；分别为两个子网络第l-1层所有神经元连接l层第j个神经元的偏置；分别为两个子网络第l层所有神经元的输出；分别为两个子网络l-1层第i个神经元连接l层第j个神经元的权重；分别为两个子网络l层第j个神经元的输出；分别为两个网络Nα、Nβ层第k个神经元的输出；W(t-1)为LWDNN-ARX模型的输入值。步骤2)中，对LWDNN-ARX模型进行前向运算得到预测输出的具体实现过程包括：1)输入状态向量W(t-1)，初始化h0＝f0＝W(t-1)，同时通过Xavier分布对LWDNN进行参数初始化，加快神经网络的收敛；2)令lα＝1，lβ＝1；3)令4)重复步骤3)，直至lα＝Nα，lβ＝Nβ；最终输出的是即两个网络最后一层的第k个输出值；5)计算6)利用θk(W(t-1))计算预测输出Y(t)。所述结构风险损失函数表达式为：其中，为期望输出；w为神经网络的参数，n为参数的个数，λ为正则化系数。根据下式更新参数w：其中α为学习率。步骤5)中，最后的LWDNN-ARX模型表达式为：其中，θk(W(t-1))(其中0≤k≤p+q)为训练好的LWDNN神经网络前向运算得到的输出值。与现有技术相比，本专利技术所具有的有益效果为：本专利技术结合LWDNN(线性加权深度神经网络)和SD-ARX(带外生变量的状态相依自回归模型)的优点，通过在LWDNN(线性加权深度神经网络)中使用ReLU激活函数在很大程度上避免了梯度消失和爆炸的问题，在目标函数中引入L2正则化构造结构风险损失减少了过拟合的可能，同时通过线性加权两个不同DNN(深度神经网络)的方式增强了模型的鲁棒性，在很大程度上提高非线性系统辨识模型的预测精度；本专利技术的模型可以用于数据建模，数据预测以及基于模型控制器的设计，具有较高的价值和应用前景。附图说明图1为本专利技术中LWDNN-ARX模型参数辨识的流程图；图2为本专利技术中LWDNN-ARX模型结构图。具体实施方式1)本专利技术从问题的规模以及建模对象入手，构建初始的LWDNN-ARX模型，并确定初始的输入阶次p、输出阶次q和状态向量维数d；其中，为t时刻系统的输出值，即预测输出；为t时刻系统输入值；为高斯白噪声；p和q分别为LWDNN-ARX模型输出和输入回归多项式的阶次；θk为LWDNN神经网络的输出值；为系统t-k1时刻输出量的系数；为系统t-k2时刻输入量的系数；α,β下标分别表示两个子网络；η,1-η分别表示两个子网络的加权系数；Nα,Nβ分别表示两个子网络的网络层数；lα,lβ分别表示子网络第l层；jα、jβ分别表示子网络当前层第j个神经元；分别为子网络第l层的网络节点数；两个子网络的激活函数φ(x)都为ReLU函数；分别为两个子网络第l-1层所有神经元连接l层第j个神经元的权重；分别为两个子网络第l-1层所有神经元连接l层第j个神经元的偏置；分别为两个子网络第l层所有神经元的输出；分别为两个子网络l-1层第i个神经元连接l层第j个神经元的权重；分别为两个子网络l层第j个神经元的输出；分别为两个子网络Nα、Nβ层第k个神经元的输出；W(t-1)为LWDNN-ARX模型的输入值。2)构造完LWDNN-ARX模型后，对模型进行前向运算，现在的绝大部分硬件设备都对神经网络进行了优化，使运算加快，同时，如果有条件可以充分利用多设备或者并行计算来减少计算时间。前向运算的过程如下：输入：状态向量W(t-1)过程：1)：初始化h0＝f0＝W(t-1)，同时通过Xavier分布对DNN网络进行参数初始化，Xavier分布如下：其中nj和nj+1分别为输入到本层的节点数和本层输出的节点数。Xavier在很大程度上保证了输入本文档来自技高网...

【技术保护点】
1.一种基于LWDNN‑ARX模型的非线性系统建模方法，其特征在于，包括以下步骤：1)根据问题规模构建LWDNN‑ARX模型，选择LWDNN‑ARX模型的输入阶次p、输出阶次q和状态向量维数d；2)对LWDNN‑ARX模型进行前向运算得到预测输出，以预测输出和期望输出的结构风险损失函数最小化为目标，通过反向传播算法进行参数优化，得到最优参数w；3)根据所述最优参数w，计算出基于LWDNN‑ARX模型的预测值和损失函数值；4)重复上述步骤1)～步骤3)，选择当损失函数值为最小情况下的阶次作为LWDNN‑ARX模型的当前阶次，比较在当前阶次下不同结构的损失函数大小，并选取损失函数值为最小情况下的结构作为当前结构；5)重复上述步骤1)～步骤4)，比较不同阶次不同结构的损失函数，并选取最小损失函数值相应的组合作为最后的LWDNN‑ARX模型。

【技术特征摘要】
1.一种基于LWDNN-ARX模型的非线性系统建模方法，其特征在于，包括以下步骤：1)根据问题规模构建LWDNN-ARX模型，选择LWDNN-ARX模型的输入阶次p、输出阶次q和状态向量维数d；2)对LWDNN-ARX模型进行前向运算得到预测输出，以预测输出和期望输出的结构风险损失函数最小化为目标，通过反向传播算法进行参数优化，得到最优参数w；3)根据所述最优参数w，计算出基于LWDNN-ARX模型的预测值和损失函数值；4)重复上述步骤1)～步骤3)，选择当损失函数值为最小情况下的阶次作为LWDNN-ARX模型的当前阶次，比较在当前阶次下不同结构的损失函数大小，并选取损失函数值为最小情况下的结构作为当前结构；5)重复上述步骤1)～步骤4)，比较不同阶次不同结构的损失函数，并选取最小损失函数值相应的组合作为最后的LWDNN-ARX模型。2.根据权利要求1所述的基于LWDNN-ARX模型的非线性系统建模方法，其特征在于，步骤1)中，LWDNN-ARX模型的表达式为：其中，为t时刻系统的输出值，即预测输出；为t时刻系统输入值；为高斯白噪声；p和q分别为LWDNN-ARX模型输出和输入回归多项式的阶次；θk为LWDNN的输出值；为系统t-k1时刻输出量的系数；为系统t-k2时刻输入量的系数；α,β下标分别表示两个子网络；η,1-η分别表示两个子网络的加权系数；Nα,Nβ分别表示两个子网络的网络层数；lα,lβ分别表示子网络第l层；jα、jβ分别表示子网络当前层第j个神经元；分别为子网络第l层的网络节点数；两个子网络的激活函数φ(x)都为ReLU...

【专利技术属性】
技术研发人员：彭辉，童立，张丁匀，吴锐，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43