存在仪器噪声和测量误差时人工神经网络模型改进的性能制造技术

描述了一种方法，在存在包含仪器噪声和／或测量误差的输入－输出例子数据时，用于改进人工神经网络模型的预测精度和推广性能，用于训练网络模型输入－输出例子数据中噪声和误差的存在造成在精确学习输入和输出之间非线性关系的困难，网络有效学习噪声关系，该方法设法使用计算机模拟生成大规模的噪声－叠加采样输入－输出数据集，这里高斯噪声专用量被添加到例子集中的每一输入／输出变量，并由此生成的扩大的采样数据集用作为训练集，用于构造人工数据网络模型，被添加的噪声量对输入／输出变量是专用的，并使用随机搜索和优化技术即遗传算法确定其优化值，对噪声叠加扩大的训练集所训练的网络表现出其预测精度和推广性能明显的改进，所发明专利技术的方法通过其成功用于来自工业聚合反应器和连续搅拌反应器（ＣＳＴＲ）包含仪器误差和／或测量噪声的例子数据所例证。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及用于在存在含有仪器噪声和/或测量误差的输入-输出数据的改进人工神经网络模型预测精度和推广性能的方法。
技术介绍
人工神经网络(ANN)由于其能够以任意精确度逼近非线性关系而适合对复杂的的多输入-多输出非线性过程建模(Poggio，T.and Girosi，F.Regularization algorithms for learning that are equivalent tomultilayer networks.Science，247，978，1990)。其结果是，ANN已经广泛用于多种工业，进行过程变量的在线和离线预测。ANN的工业应用包括过程识别，稳态和动态过程建模，故障检测和诊断，软检测器研发，及非线性过程控制和监视。这些ANN应用已经由Tambe h共同作者进行了全面的综述(Tambe，S.S.，Kulkarmi，B.D.，Deshpande，P.B.Elements of Artificial Neural Networks with Selected Applicationsin Chemical Engineering，and Chemical & Biological Sciences，Simulation & Advanced Controls Inc.Louisville，USA，1996)。在任何过程操作期间，产生大量的过程输入-输出数据，这些数据能够用来研发事先预测过程输出变量值的ANN模型。所希望的ANN模型特性是(i)应当精确预测包含在用于其构成的输入-输出例子数据集中的输出，以及(ii)应当具有良好的推广的可能性。传统上，使用尽可能减小预定成本(误差)函数的适当的权重-调节算法训练ANN模型。例如，最广泛使用误差反向传播(EBP)(Rumelhart，D.，Hinton，G.，William，R.，Learning representations by backpropagating errors.Nature，323，533，1986)算法进行均方根误差(RMSE)函数的最小化。在任何大的过程数据集中，都会有仪器噪声和/或测量误差的存在。在用于网络训练的输入-输出数据中噪声和/或误差的存在生成了对于模型预测精度的阈值极限，并由模型显示的推广的性能。这主要是因为网络试图逼近(学习)包含噪声和/或误差的输入和输出数据之间存在的平均关系而发生的。由于网络忽略数据中的噪声和误差，因而由它所俘获的平均关系充满了不精确性。由于关于过程操作的重要的控制数和方针决策基于由模型作出的预测，因而预测中的不精确性，如果它们是重要的，则是不能容许的。例如，在聚合反应器中，质量变量的预测，诸如熔体流指标(MFI)，应力指数(Sex)等在决定生产的聚合物等级中是重要的。能够推广的ANN模型不仅精确预测用于其研发的数据(例子集)中的输出，而且还对应于新的或新型的输入数据。非常重要的是ANN模型不仅具有优秀的预测精度，而且有良好的推广性质。已经由Gorp和同事们观察到(Gorp，J.V.，Schoukens，J.，Pintelon，R.，Learning neural networks with noisy input using theerrors-in-variables approach，Transaction on Neural Networks A.180，1-14，1999)，在商业软件中，大部分ANN模型是使用简单的输出误差(OE)代价函数训练的，并且当输入数据有噪声时，这可能导致网络预测的输出严重的偏差。作者证明，噪声的存在实际上抑制了ANN模型的转移函数较高阶的导数，并如果采用传统的最小二乘法代价函数，则还引入偏差。于是，用于改进ANN推广性能的方法推荐以新型的代价函数例如变量中的误差(EIV)代价函数代替RMSE代价函数(Gorp，J.V.，Schoukens，J.，Pintelon，R.，Learning neural networks with noisyinput using the errors-in-variables approach，Transaction on NeuralNetworks A.180，1-14，1999)。EIV方法的缺陷是其实现需要关于输入和输出变化的知识。在许多实际的设置中，这种信息是不可得的，这样严重限制了EIV方法的使用。该方法论虽然对于噪声测量可较好地工作，但还是需要大量的存储器并可能导致局部最小。另一些方法，诸如(i)使用EIV方法作为在施加OE方法之后的后处理工具，(ii)使用被测的输入和输出值代替估计值，以及(iii)修改的学习和优化方案，被多样化地提出和展示(Gorp，J.V.，Schoukens，J.，Pintelon，R.，Theerrors in variables cost function for learning neural networks withnoisy inputs.Intelligent Engineering Systems Through ArtificialNeural Networks，8，141-146，1998)。报道添加噪声对ANN模型性能的影响的文献相对少，并至今只进行了很少的系统研究。一般知道，对训练数据添加噪声有助于获得具有较好推广性能的模型。Sietsma与Dow报告(Sietsma，J.，Dow，R.，J.，Creating artificial neural networks that generalize，Neural Networks 4，67-79，1991)噪声和添加的伪-高斯分布噪声对训练模式(向量)的每一元素有益的效果。他们证明，使用添加噪声的数据训练改进了多层感知机(MLP)网络的分类能力。研究还揭示了需要较高数目的网络结点，且每一结点对解独立贡献；还可能是对网络输出没有重要贡献的少量的单元能够通过适当的网络修剪技术被去除。这种观点还由Minai和Williams共有(Minai，A.A.，Williams，R.D.，Perturbation response infeedforward network，Neural Networks，7(5)，783-796，1994)，他们提出产生较大的网络，其中每一结点在较小程度上对整体计算贡献。在另一彻底的研究中，An研究了(An，G.，The effects of adding noiseduring backprogation training on a generalization performance.Neural Comput.，8，643-674，1996)噪声添加对基于EBP网络训练推广性能的影响。这样，An的研究分别分析了输入、权重、和输出中噪声对网络预测性能的影响。研究表明，输出中的噪声没有改进推广，但在输入和权重中的噪声是有帮助的。还观察到，使用Langevin噪声的网络训练导致整体极小化，这类似于使用模拟退火方法所获得的网络训练。在理论研究中，Bishop(Bishop，C.M.，Training with noice isequi本文档来自技高网...

【技术保护点】
一种方法，当称为例子集的可用于构成网络模型的输入－输出数据包括仪器噪声和／或测量误差时，用于改进非线性人工神经网络模型的预测精度和推广性能，所述方法包括以下步骤：（ａ）使用计算机模拟产生噪声叠加扩大的输入－输出采样数据集；（ ｂ）使用计算机模拟对于例子集中每一输入－输出模式产生Ｍ数目噪声叠加采样输入－输出模式（向量）；（ｃ）使用每一输入／输出变量专用的噪声允差值产生噪声－叠加采样输入－输出模式；（ｄ）使用计算机模拟产生高斯（正态）分布随机数，以便 生成噪声－叠加采样输入－输出模式；（ｅ）使用随机搜索和优化技术，确定要添加到例子集中每一输入－输出变量的准确的高斯噪声量；以及（ｆ）使用计算机产生的噪声－叠加采样输入－输出模式作为‘训练集’，用于构成非线性人工神经网络模型； 。

【技术特征摘要】
1.一种方法，当称为例子集的可用于构成网络模型的输入-输出数据包括仪器噪声和/或测量误差时，用于改进非线性人工神经网络模型的预测精度和推广性能，所述方法包括以下步骤(a)使用计算机模拟产生噪声叠加扩大的输入-输出采样数据集；(b)使用计算机模拟对于例子集中每一输入-输出模式产生M数目噪声叠加采样输入-输出模式(向量)；(c)使用每一输入/输出变量专用的噪声允差值产生噪声-叠加采样输入-输出模式；(d)使用计算机模拟产生高斯(正态)分布随机数，以便生成噪声-叠加采样输入-输出模式；(e)使用随机搜索和优化技术，确定要添加到例子集中每一输入-输出变量的准确的高斯噪声量；以及(f)使用计算机产生的噪声-叠加采样输入-输出模式作为‘训练集’，用于构成非线性人工神经网络模型；2.根据权利要求1的方法，其中通过遗传算法确定的被添加到例子集的每一输入输出变量的准确的高斯噪声量，是...

【专利技术属性】
技术研发人员：巴斯卡戴特雷库卡尼，桑吉夫史瑞克瑞士纳塔姆比，贾亚瑞姆布哈吉劳纳瑞，尼拉姆库马维勒查，桑雷瓦桑特劳戴史姆克，巴范尼史安卡希诺伊，希瓦拉玛拉维克安德兰，
申请(专利权)人：科学与工业研究会，
类型：发明
国别省市：IN[印度]