基于限幅器的神经网络训练方法及其应用技术

本发明专利技术公开了一种基于限幅器的神经网络训练方法及其应用，所述神经网络训练方法包括：将实验数据作为训练集训练神经网络；通过训练后的神经网络预测未知状况下待预测量的值；设定限幅器的上下限，将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限，将修改后的结果纳入训练集；通过新训练集重新训练神经网络；神经网络预测结果均在限幅器上下限范围内则结束训练，否则建立新训练集，重新训练神经网络，重复直到神经网络预测结果均在限幅器上下限范围内。本发明专利技术具有在实验数据较少的情况下建立较高预测精度神经网络的优点。

【技术实现步骤摘要】
基于限幅器的神经网络训练方法及其应用
本专利技术属于人工神经网络预测
，涉及神经网络的训练方法，特别涉及一种基于限幅器的神经网络训练方法及其应用。
技术介绍
目前，许多物理化学性质测量难度大，测量成本高，且实验所得的数据为离散点，难以满足工业需求；物理化学性质的研究思路基本为通过实验数据建立其理论计算模型。相对于传统的预测模型，人工神经网络具有非线性处理能力强、预测精度高的优点，在物理化学性质预测方面得到了广泛的应用。应用神经网络时，需要利用大量实验数据对神经网络进行训练对不同状态下的特征进行学习，预测所需要的物理化学性质。然而，对于许多物质来讲，其物理化学性质数据较少，通过小数据集训练的神经网络会存在预测精度低的问题。如何通过有限实验数据训练获得预测精度较高的神经网络是亟需解决的技术问题。
技术实现思路
本专利技术的目的在于提供一种基于限幅器的神经网络训练方法及其应用，以解决上述存在的一个或多个技术问题。本专利技术的方法能够改善小数据集训练所得的神经网络预测精度低的问题，提高训练所得神经网络预测的精度。为达到上述目的，本专利技术采用以下技术方案：本专利技术的一种基于限幅器的神经网络训练方法，包括以下步骤：步骤1，采用预获取的实验数据作为训练集，对待训练的神经网络进行训练，获得训练后的神经网络；其中，所述实验数据包括预测所需特征量及待预测量的实验数据；步骤2，通过训练后的神经网络预测未知状况下待预测量的值，获得预测结果；步骤3，设定限幅器的上下限，通过限幅器确定步骤2获得的预测结果的合理性；其中，若预测结果均在限幅器上下限范围内，则训练结束；否则更改限幅器上下限范围外的预测结果，获得新的训练集并跳转执行步骤4；步骤4，通过新的训练集重新训练神经网络，获得新的训练后的神经网络并跳转执行步骤5；步骤5，基于步骤4获得的训练后的神经网络，重复步骤2和步骤3。本专利技术的进一步改进在于，步骤3中，所述否则更改限幅器上下限范围外的预测结果，获得新的训练集的具体步骤包括：将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限；将修改后的结果纳入训练集成为新的训练集。本专利技术的进一步改进在于，所述神经网络的输出为归一化值。本专利技术的进一步改进在于，所述神经网络的输入为影响待预测量的预测所需特征量，输出为待预测量。本专利技术的进一步改进在于，步骤4中，在利用新的训练集重新训练神经网络时，非实验数据对所述神经网络结构和参数的影响权重乘以一个小于1的系数。本专利技术的进一步改进在于，步骤1或步骤4中，所述神经网络在训练过程中，根据选择的损失函数，采用优化算法对神经网络内部参数进行优化。本专利技术的一种基于限幅器的神经网络训练方法的应用，用于天然气压缩因子的预测。本专利技术的进一步改进在于，预测所需特征量包括：温度、压力以及天然气中甲烷、乙烷、丙烷、丁烷、戊烷、己烷、庚烷、辛烷八种组分的含量；待预测量为天然气的压缩因子；所述神经网络为前向神经网络，包括输入层、隐藏层和输出层；其中，每个层内均有多个神经元，神经元具有各自的偏置、权重与激活函数，层内部各个神经元之间相互独立；从输入层输入的特征值，经过各个隐藏层的计算最终达到输出层；对前向神经网络的输出进行归一化处理，归一化处理的表达式为：式中，X为输入的初始值，Xmin和Xmax分别为所有输入的最小值和最大值，x为输入的归一化值；神经网络每层之间的传递公式为：式中，为具有m个神经元的第k+1层中第j个神经元对于上一层也即具有n个神经元的第k层第i个神经元aik的权重，bjk+1为第k+1层中第j个神经元的偏置，为第k+1层中第j个神经元的输出；采用的激活函数为ReLU或Tanh函数，表达式为：或式中，为第k+1层中第j个神经元的输出，ajk+1为激活函数的函数值。本专利技术的进一步改进在于，采用误差函数作为优化目标，误差函数为：式中，MSE为均方误差，f(x)为神经网络的输出值，Y为实际值；M为全体数据的个数。在进行误差计算后，通过优化算法调整神经网络的结构和权重。本专利技术的进一步改进在于，限幅器的上限、下限，分别为1.66、0.36。与现有技术相比，本专利技术具有以下有益效果：本专利技术同现有方法相比，具有在实验数据较少的情况下建立较高预测精度神经网络的优点；具体地，本专利技术通过预设所预测值的理论范围，可以使神经网络在训练时除了少量的实验数据以外获得其他可支持训练的信息；同时，本专利技术技术方案根据理论范围对神经网络的输出进行修正，并将修正后的值与实验数据一同放入训练集，重复多次直至神经网络的输出全部符合预测值的理论范围，可以充分发挥无标签数据的价值，使神经网络在其预测输入特征在训练集的范围之外的数据点时，预测值相对于每一个输入特征有着相对正确的变化趋势，尤其当实验数据较少且预测值与输入特征之间的关系可看待为近似的递增的凸函数或递减的凹函数时(类似对数函数)；另外，本专利技术可以极大地提高预测的精度至传统神经网络的数倍甚至数十倍。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例中，前馈神经网络的结构示意图；图2是本专利技术实施例中，基于限幅器的神经网络训练方法的流程示意图；图3是本专利技术实施例中，本专利技术方法与传统前向神经网络的预测效果对比示意图。具体实施方式为使本专利技术实施例的目的、技术效果及技术方案更加清楚，下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本专利技术一部分实施例。基于本专利技术公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本专利技术保护的范围。请参阅图1和图2，本专利技术实施例提供了一种基于限幅器的神经网络训练方法，应用该方法可以改善小数据集训练所得的神经网络预测精度低的问题，提高神经网络预测的精度。所述的神经网络训练方法具体包括以下步骤：步骤1，将含有预测所需要的特征量及待预测量的实验数据作为训练集训练神经网络；步骤2，通过训练后的神经网络预测未知状况下待预测量的值；步骤3，设定限幅器的上下限，通过限幅器确定预测结果的合理性并更改不合理结果；其中，具体方法可以为将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限，并将修改后的结果纳入训练集；步骤4，通过新训练集重新训练神经网络；步骤5，重复步骤2，如果神经网络预测结果均在限幅器上下限范围内，则结束训练；否则返回步骤3。本专利技术的又一实施例中，所本文档来自技高网...

【技术保护点】
1.一种基于限幅器的神经网络训练方法，其特征在于，包括以下步骤：/n步骤1，采用预获取的实验数据作为训练集，对待训练的神经网络进行训练，获得训练后的神经网络；其中，所述实验数据包括预测所需特征量及待预测量的实验数据；/n步骤2，通过训练后的神经网络预测未知状况下待预测量的值，获得预测结果；/n步骤3，设定限幅器的上下限，通过限幅器确定步骤2获得的预测结果的合理性；其中，若预测结果均在限幅器上下限范围内，则训练结束；否则更改限幅器上下限范围外的预测结果，获得新的训练集并跳转执行步骤4；/n步骤4，通过新的训练集重新训练神经网络，获得新的训练后的神经网络并跳转执行步骤5；/n步骤5，基于步骤4获得的训练后的神经网络，重复步骤2和步骤3。/n

【技术特征摘要】
1.一种基于限幅器的神经网络训练方法，其特征在于，包括以下步骤：
步骤1，采用预获取的实验数据作为训练集，对待训练的神经网络进行训练，获得训练后的神经网络；其中，所述实验数据包括预测所需特征量及待预测量的实验数据；
步骤2，通过训练后的神经网络预测未知状况下待预测量的值，获得预测结果；
步骤3，设定限幅器的上下限，通过限幅器确定步骤2获得的预测结果的合理性；其中，若预测结果均在限幅器上下限范围内，则训练结束；否则更改限幅器上下限范围外的预测结果，获得新的训练集并跳转执行步骤4；
步骤4，通过新的训练集重新训练神经网络，获得新的训练后的神经网络并跳转执行步骤5；
步骤5，基于步骤4获得的训练后的神经网络，重复步骤2和步骤3。


2.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，步骤3中，所述否则更改限幅器上下限范围外的预测结果，获得新的训练集的具体步骤包括：
将超过限幅器上限的预测结果改为限幅器的上限，将低于限幅器下限的预测结果改为限幅器的下限；
将修改后的结果纳入训练集成为新的训练集。


3.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，所述神经网络的输出为归一化值。


4.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，所述神经网络的输入为影响待预测量的预测所需特征量，输出为待预测量。


5.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，步骤4中，在利用新的训练集重新训练神经网络时，非实验数据对所述神经网络结构和参数的影响权重乘以一个小于1的系数。


6.根据权利要求1所述的一种基于限幅器的神经网络训练方法，其特征在于，步骤1或步骤4中，所述神经网络在训练过程...

【专利技术属性】
技术研发人员：刘向阳，褚健淳，何茂刚，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61