当前位置: 首页 > 专利查询>中南大学专利>正文

一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法技术

技术编号:26067327 阅读:8 留言:0更新日期:2020-10-28 16:40
本发明专利技术提供一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,该方法具体包括如下步骤:首先从生产过程中选取对生产过程以及产品质量有影响的关键过程变量作为质量变量,再对输入过程变量和质量变量连续不规则采样,获得动态数据序列;对采样的原始动态数据序列进行预处理;建模时利用非增函数将采样间隔转换为合适的权值,利用一个全连接层计算得到质量变量的预测值,按照先后顺序确定训练集数据和测试数据集;训练网络,确定网络结构和超参数;实现质量变量实时在线预测。本发明专利技术能处理流程制造工业中的不规则采样数据,还能够处理工业中的非线性动态特性,且计算量小,极大的提高软测量模型的适用性与准确性。

【技术实现步骤摘要】
一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法
本专利技术涉及工业过程预测与控制领域,具体涉及基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法。
技术介绍
流程工业包括石油、化工、有色、钢铁、建材等行业,是国民经济的重要支柱产业。在工业过程中,质量的监测和控制对过程安全、优化和节能至关重要;质量的监测和控制在很大程度上决定于对过程关键性能指标的实时在线测量;由于测量环境恶劣,在线分析仪器昂贵,离线测量存在较大的延迟等原因使得过程关键性能指标的在线测量变得困难。由此,软测量技术应运而生。软测量技术主要分为机理驱动的软测量模型和数据驱动的软测量模型。近几年,由于分布式控制系统的成功应用,我们可以从生产过程中获得大量的过程数据,使得数据驱动的软测量技术迅速发展。当前数据驱动的软测量技术主要有主成分回归分析、偏最小二乘回归、支持向量回归、人工神经网络算法等。但是这类浅层的网络对复杂过程的特征提取能力不足,受到网络深度的限制,浅层网络不能很好的挖掘过程数据中的非线性特征,而多层人工神经网络又容易受到梯度消失和梯度爆炸的影响,因此预测性能也受到一定的限制。随着计算机技术的发展,在2006年,Hinton等人提出深层神经网络通过逐层无监督预训练和有监督微调可以有效的克服网络训练的难题,由此深度神经网络技术不断发展并在许多领域包括软测量建模中被广泛应用。在流程制造工业过程中,相比于深度置信网络、堆栈自编码器和卷积神经网络,循环神经网络由于其特别的网络结构能够处理工业过程中的动态特性,因此具有比静态神经网络更高的预测性能,但是标准的循环神经网络由于网络的细胞单元结构简单,使得网络存在长期依赖的问题,对此,标准循环神经网络的一种变体,长短期记忆网络应运而生。长短期记忆网络的基本假设是动态时间序列中的测量值以均匀统一的频率采样。例如专利申请CN201910910902.1-一种基于空间和时间注意力的长短期记忆网络对工业非线性动态过程产品质量预测方法,就利用长短期记忆网络建立输入变量和质量变量之间的动态非线性模型,并在此基础上先利用一个空间注意力机制来获得质量变量和输入变量之间的相关性,再利用一个时间注意力机制来建立质量变量和输入样本的动态相关性,实现不仅能自适应地选择和质量变量相关的输入变量、还能处理工业过程中的时序性问题的效果,极大地提高软测量模型的准确性,实现了针对工业非线性动态生产过程关键质量变量进行精确预测。该方法要求输入样本的过程变量以及样本标签均为规则采样的时间序列且在构建模型时需要编码和解码,是专门针对工业非线性动态生产过程的软测量方法。然而,对于流程制造工业过程中的过程数据测量,特别是质量变量,动态时间序列中的测量值往往很难满足等间隔采样条件。例如,在生产的初始阶段,质量变量的采样频率往往很高,以便监测过程是否满足工艺要求和产品是否合格;在过程稳定运行后,质量变量的分析频率要低得多。此外,质量变量大多由运行中的工厂的操作员手动取样,然后送到实验室进行离线分析。过程操作员很难保持均匀的采样频率。即使对于一些可以通过在线分析仪测量的质量变量,在许多流程制造工业过程中,各个流程化单元中频繁的维护也常常导致时间长度不规则的采样测量。因此,针对流程制造工业过程中的动态时间序列样本数据的不规则采样问题,急需供一种长短期记忆网络的软测量建模方法,使得其充分考虑到流程制造工业过程中样本数据不规则的采样问题,以实现对生产过程关键质量变量进行精确预测的作用。
技术实现思路
(一)要解决的技术问题本专利技术的目的在于克服现有技术没有充分考虑流程制造工业过程中样本数据不规则采样问题,提供一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,实现了对生产过程关键质量变量进行精确预测,提高动态软测量模型在流程制造工业中的普适性,并且计算量小。(二)技术方案本专利技术公开了一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,该方法包括以下步骤:步骤(1):通过机理分析和专家知识,从流程制造工业过程中选取对质量变量产生影响的若干关键过程变量作为输入变量,对输入变量和相应的质量变量连续的不规则采样若干次后,得到输入变量X与相应的质量变量Y的时间序列数据集记为(X,Y);X={x(1),x(2),…,x(k),…,x(T1)}Y={y(1),y(2),…,y(k),…,y(T1)}其中,T1为采样样本次数,1≤k≤T1;步骤(2):对步骤(1)中采样的数据(X,Y)进行归一化处理;步骤(3)、构建模型:计算相邻两个样本的采样时间间隔△,设计了两个非增函数将采样间隔转换为合适的权值;将采样间隔权值和网络的隐状态相乘作为长短期记忆网络细胞单元中三个控制门的输入,由此根据采样间隔来调整控制门的开关程度,故而调整细胞单元隐层的输出,如果相邻两个样本之间的采样时间间隔△比较小,则两个相邻样本之间具有较强的动态关系,如果相邻两个样本之间的采样间隔△较大,则两个相邻样本之间的动态关系较弱;最后将长短期记忆网络细胞单元的各个时刻的隐状态通过一个全连接层得到质量变量的预测值其中,所述步骤(3)包括:采用如下设计的两个非增函数得到相应的采样间隔权值:其中,a1,b1,a2,b2分别为网络的超参数,Δk为k时刻的样本与k-1时刻样本之间的时间间隔;由此得到细胞单元中控制门的加权输入:其中g(Δk)选择g1(Δk)或者g2(Δk)函数,将加权后的隐状态作为遗忘门、输入门和输出门三者的输入,通过长短记忆网络单元最终得到隐藏层输出h(k);计算出k时刻的隐状态之后,利用一个全连接层即可得到当前时刻的质量变量的预测值:其中,U为全连接层的权重,c为全连接层的偏置向量。步骤(4):训练模型:确定网络的结构和超参数a1,b1,a2,b2以及网络学习率、训练迭代次数,训练基于采样间隔感知的长短期记忆网络;步骤(5):实时采集输入变量值,利用训练完成的模型,得到质量变量的预测值,实现质量变量实时在线预测。进一步的,所述的步骤(3)中还包括:利用长短期神经网络单元通过前向传播算法得到隐层状态包括:遗忘门:输入门:输出门:中间状态输入:c(k)=tanh(Wc[x(k);h(k-1)]+bc)其中,W*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长短期记忆细胞单元中三个控制门以及中间状态的转换矩阵,b*表示三个控制门和中间状态的偏置量;当前时刻的细胞状态m(k)和隐藏层输出h(k)为:进一步的,所述步骤(4)中包括:计算模型的损失函数:计算出损失函数之后,利用基于时间的误差反向传播算法和Adam算法更新网络参数,在损失函数收敛之后停止模型的训练。进一步的,所述步骤(4)中还包括:采本文档来自技高网
...

【技术保护点】
1.一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,其特征在于,该建模方法包括以下步骤:/n步骤(1):通过机理分析和专家知识,从流程制造工业过程中选取对质量变量产生影响的若干关键过程变量作为输入变量,对输入变量和相应的质量变量连续的不规则采样若干次后,得到输入变量X与相应的质量变量Y的时间序列数据集记为(X,Y);/nX={x

【技术特征摘要】
1.一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,其特征在于,该建模方法包括以下步骤:
步骤(1):通过机理分析和专家知识,从流程制造工业过程中选取对质量变量产生影响的若干关键过程变量作为输入变量,对输入变量和相应的质量变量连续的不规则采样若干次后,得到输入变量X与相应的质量变量Y的时间序列数据集记为(X,Y);
X={x(1),x(2),…,x(k),…,x(T1)}
Y={y(1),y(2),…,y(k),…,y(T1)}
其中,T1为采样样本次数,1≤k≤T1;
步骤(2):对步骤(1)中采样的数据(X,Y)进行归一化处理;
步骤(3)、构建模型:计算相邻两个样本的采样时间间隔△,设计了两个非增函数将采样间隔转换为合适的权值;将采样间隔权值和网络的隐状态相乘作为长短期记忆网络细胞单元中三个控制门的输入,由此根据采样间隔来调整控制门的开关程度,故而调整细胞单元隐层的输出,如果相邻两个样本之间的采样时间间隔△比较小,则两个相邻样本之间具有较强的动态关系,如果相邻两个样本之间的采样间隔△较大,则两个相邻样本之间的动态关系较弱;最后将长短期记忆网络细胞单元的各个时刻的隐状态通过一个全连接层得到质量变量的预测值其中,所述步骤(3)具体包括:
采用如下设计的两个非增函数得到相应的采样间隔权值:






其中,a1,b1,a2,b2分别为网络的超参数,Δk为k时刻的样本与k-1时刻样本之间的时间间隔;
由此得到细胞单元中控制门的加权输入



其中,g(Δk)选择对数g1(Δk)或者指数g2(Δk)函数,将加权后的隐状态作为遗忘门、输入门和输出门三者的输入,通过长短记忆网络单元最终得到隐藏层输出h(k);计算出k时刻的隐状态之后,利用一个全连接层即可得到当前时刻的质量变量的预测值:



其中,U为全连接层的权重,c为全连接层的偏置向量;
步骤(4):训练模型:确定网络的结构和超参数a1,b1,a2,b2以及网络的学习率、训练迭代次数,训练基于采样间隔感知的长短期记忆网络。
步骤(5):实时采集输入变量值,利用训练完成的模型,得到质量变量的预测值,实现质量变量实时在线预测。


2.根据权利要求1所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,其特征在于,所述的步骤(3)中还包括:利用长短期记忆神经网络单元通过前向传播算法得到隐层状态包括:
遗忘门:



输入门:



输出门:


【专利技术属性】
技术研发人员:袁小锋李林王雅琳王凯阳春华桂卫华
申请(专利权)人:中南大学
类型:发明
国别省市:湖南;43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1