基于结构的神经网络建模与优化方法技术

一种基于结构的神经网络建模与优化方法，根据系统的结构与组成特点，将原复杂非线性系统分解为若干个相对简单的子系统，用单个的人工函数链神经元来建立子系统模型，根据子系统的结构参量、激励和响应以及它们的历史信号来确定神经元的输入／输出，得到各子系统的神经元模型后，按照各子系统间的固有作用关系连接起来形成一个基于结构的神经网络模型，并利用该网络模型对系统结构参数进行优化。本发明专利技术具有系统建模和参数优化的双重功能，解决了传统神经网络建模与优化时存在的模型非结构化、神经元的个数不易确定、收敛速度慢等缺点，为非线性系统的建模与结构参数优化提供了一条新途径，对开发新的系统也具有十分重要的意义。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种，是一种对复杂非线性系统建模与结构参数优化的方法。传统上，用于建模和优化的神经网络是相互独立的。用于系统建模的神经网络大多是前馈神经网络，包括多层前馈神经网络、径向基函数网络和函数链神经网络等。它们在建模时存在着模型非结构化、神经元的个数不易确定、收敛速度慢、局部最小等问题，特别是随着问题复杂程度的增加，训练一个复杂网络所需样本量和学习时间都急剧增加，而且得到的复杂网络往往并不能揭示问题的层次和结构。并且它们不注重网络权值的意义，因此建立模型后不能直接进行参数优化。而用于优化的神经网络主要是反馈网络，包括Hopfield网络、Boltzmann机和弹性网(Elastic net)等，它们主要用于求解组合优化问题，一般不能用于系统建模。模块化网络是“分而治之”思想的一种体现，它是基于“任务分解”或“事件分解”的概念，将一个复杂的任务分解为若干个较简单的子任务，分别交各专家网络完成。这些模块化网络可以认为是“基于任务”(或“基于事件”)的网络。但是，传统的模块化网络对于那些不能按“任务”或“事件”进行分解的系统却无能为力。因此，迫切需要提出一种新的建模与优化方法。为实现这样的目的，本专利技术提出的不同于机理建模的方法，它毋需建立数学模型和求解数学方程；也不同于传统的神经网络建模方法，新网络模型的连接权值具有明确的物理意义。通过对网络权值的调整，可同时实现系统结构参数的优化。我们知道，在工程中的复杂非线性系统从“结构”上一般都可以看作是由若干个相互交连的子系统通过某种形式结合而成的。因此，在研究较大的非线性系统时，可以先把复杂的非线性系统分解为若干个相对简单的子系统，再分别对各子系统进行研究，建立子系统的模型，然后根据一定原则将这些子系统模型组合起来形成该非线性系统的模型。基于结构的神经网络模型就是这种思想的具体体现。具体讲，就是根据系统的结构特点，将原复杂非线性系统分解为若干个相对简单的子系统，每个子系统分别以一个人工神经元表示，即建立各子系统的人工神经元模型，然后按照各子系统间的固有作用关系连接起来形成一个网络，该网络就是原非线性系统的模型。由于该网络不同于已有模式的人工神经网络，它是依据系统的真实结构与组成特点自然形成的，所以称其为基于结构的神经网络(Neural networks based on system architecture)。由于所建立的神经网络模型是结构化的，各神经元之间的连接关系与子系统间的相互作用是对应的，网络的部分连接权值与系统的结构参数相对应，因此，建立模型后，对其连接权值的进行调整也就是对系统结构参数的调整，也就是说可以利用该网络模型对系统结构参数进行优化。本专利技术建模与优化方法按如下步骤进行1、子系统划分在建立基于结构的神经网络模型时，首先需要对系统从结构上进行正确划分。即，根据系统的结构与组成特点，将原系统分解为若干个子系统。为使子系统问题更为简单，通常尽可能把复杂系统分解为若干个单输出的子系统。一般的，非线性系统或称为全局问题可描述为 Y(t+1)＝f(Y(t)，…，Y(t-Ky+1)；U(t)，…，U(t-Ku+1)；V)式中V＝T——系统的l维结构参数矢量(不随时间变化)U(t)＝T——系统在t时刻的m维输入矢量(激励)Y(t)＝T——系统在t时刻的n维输出矢量(响应)Ku——输入(激励)的最大延迟阶数Ky——输出(响应)的最大延迟阶数f(·)——非线性函数。从上式可以看出，系统在(t+1)时刻的输出Y(t+1)不仅与系统的输入激励U(t)和系统的结构参数V有关，而且依赖于输入激励U(t)的Ky个历史输入信号和输出响应Y(t)的Ku个历史输出信号。经过分解后，该全局问题可转化成由k个子系统所对应的子问题，各子问题可表示如下yi(t+1)=fi(yi(t),...,yi(t-Kyi+1);Ui(t),...,Ui(t-Kui+1);Vi)(i=0,1,2,...,k-1)]]>式中 ——子系统i的li维结构参量(不随时间变化) ——子系统i在t时刻的mi维输入矢量(激励)Yi(t)——子系统i在t时刻的输出(1维)(响应)fi(·)——子系统i对应的非线性函数。这样，一个复杂系统就可以分解为若干相对简单的子系统。2、子系统模型的建立建立子系统模型是建立系统基于结构的神经网络模型的基础。由于将系统划分成了若干个单输出的子系统，因此可以用单个的人工神经元来建立子系统模型。为了描述子系统输入/输出的动态特性，可以把反映子系统动态特性的时序数据引入神经元，确定神经元的输入/输出。本专利技术把与子系统i有关的结构参量Vi、子系统i在t时刻的激励Ui(t)及其Ky个历史输入信号和子系统输出响应Y(t)的Ku个历史输出信号作为子系统神经元模型的输入，把子系统输出Y(t)作为神经元的输出。由于非线性系统的子系统也可能是非线性系统，因此用普通的人工神经元不能建立子系统的正确模型。本专利技术使用函数链神经元(Functional link neuron，FLN)来建立子系统模型。函数链神经元是函数链人工神经网络(Functional link artificial neural network，FLANN)的一种特殊形式。由于FLANN是一种具有扁平结构的单层网络，抛弃了传统的多层前馈网络所必需的隐含层，只采用单层的结构就可实现具有隐含层网络的功能。特别地，当FLANN的输出矢量为一维时，该单层网络就退化为一个神经元，称其为函数链神经元(FLN)。通过对函数链神经元性能(包括可学习性，函数逼近能力，输出误差，全局最小，算法收敛性等)进行深入的理论分析与证明，表明该类型神经元具有良好的非线性逼近能力，并且可以证明当使用正交的函数型扩展时，即正交的函数链神经元可以任意精度逼近非线性映射，并且不存在局部最小等问题。因此，它是建立单输出子系统模型的理想神经元类型之一。本专利技术以实验数据或仿真数据作为训练样本，运用某种学习算法(例如BP算法)分别对各子系统的神经元模型进行训练，直到它们能够很好地逼近各个子系统的输入/输出关系为止，即得到各子系统的神经元模型。由于单个神经元的学习算法要简单的多，因此可以大大减小算法的复杂程度，对于提高学习效率，减少学习时间都是十分有效的。3、基于结构的神经网络模型建立根据系统的结构与组成特点以及各子系统间的相互作用关系，将所得到的各子系统的神经元模型连接起来，就形成一个基于结构的神经网络。只要各子系统的神经元模型能够很好地表达对应的子系统，那么由它们连接起来形成的网络模型就可表示原复杂非线性系统的输入/输出关系，即得到了原非线性系统的基于结构的神经网络模型。4、结构参数优化在建立子系统模型时是把系统的结构参数作为模型的输入参数的，那么只要对该模型稍加改动就可以进行参数优化。本专利技术在各神经元中那些与结构参数相对应的输入变量vi之前，增加一个输入值为1的新输入层。这样，原来作为输入的变量vi就成为新输入层的待优化的权值W′i。由于这些新权值与系统的结构参数相对应，具有明确的物理意义。因此，为了获得系统的最优性能而对这些权值进行修正，其实就是对系统结构参数的改变，亦即实现了对系统结构参数的优化。将这些改进后的神经元模型仍然按照原来的连接方式本文档来自技高网...

【技术保护点】
一种基于结构的神经网络建模与优化方法，其特征在于按如下步骤进行：１） 根据系统的结构与组成特点，将原系统分解为若干个单输出的子系统；２） 使用函数链神经元来建立子系统模型，把与子系统有关的结构参量、子系统在ｔ时刻的激励及其历史输入信 号和响应的历史输出信号作为神经元的输入，把子系统输出作为神经元的输出，并运用学习算法分别对各子系统的神经元模型进行训练，使之逼近各个子系统的输入／输出关系，得到各子系统的神经元模型；３） 将所得到的各子系统的神经元模型连接起来，得到原系 统的基于结构的神经网络模型；４） 在各神经元中与结构参数相对应的输入变量之前，增加一个输入值为１的新输入层，得到与系统的结构参数相对应的新输入层权值，并对这些权值进行修正；５） 将改进后的神经元模型仍按原来的连接方式连接起来，得到可 用于结构参数优化的网络模型。６） 根据优化目标，选择一种优化算法对网络权值进行优化，修改新增加的与系统结构参数相对应的权值，而其它在建模时已训练好的权值保持不变。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：詹永麒，施光林，乔俊伟，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]