基于注意力机制与逻辑回归的长短期记忆网络预测方法技术

本发明专利技术公开了一种基于注意力机制与逻辑回归的长短期记忆网络预测方法，包括：获取乙烯生产数据，对所述乙烯生产数据进行归一化处理，对归一化之后的乙烯生产数据进行整理，使用长短期记忆网络模型对整理之后的乙烯生产数据进行训练，根据注意力机制对多个历史时间点的结果进行加权计算，以获得不同时间点的数据依赖关系，使用基于逻辑回归的非线性变换拟合乙烯生产数据，以获得最终的预测输出。本发明专利技术提供的技术方案能够提高乙烯生产数据的时序特征进而提高长短期记忆网络模型的性能，从而实现乙烯生产过程的准确预测，提升乙烯生产能力，实现节能减排的目的。

Long-term and Short-term Memory Network Prediction Method Based on Attention Mechanism and Logical Regression

【技术实现步骤摘要】
基于注意力机制与逻辑回归的长短期记忆网络预测方法
本专利技术涉及化工生产的
，尤其涉及一种基于注意力机制与逻辑回归的长短期记忆网络预测方法。
技术介绍
乙烯生产工业已经成为国内石化工业的龙头产业，其产量的输出已经成为判断一个国家工业发展水平的主要标志之一。据统计，生产1000,000吨乙烯需要约320万吨石油烃，其中18％(约576,000吨)被处理能量消耗，因此国内乙烯行业存在较大的能效提升空间。乙烯的能源消耗费用占乙烯装置操作成本的50％以上，因此建立乙烯装置生产预测模型对于降低乙烯工业能耗有着很好的指导意义。另外，乙烯装置对于实现节能、低碳经济和绿色国内生产总值(GDP)这一总体目标具有直接影响。然而，复杂化工生产数据具有高维、不确定性以及噪声等特点，导致难以直接控制原材料消耗，无法保证复杂化工生产的产品质量。
技术实现思路
为解决现有技术存在的局限和缺陷，本专利技术提供一种基于注意力机制与逻辑回归的长短期记忆网络预测方法，包括：获取乙烯生产数据；对所述乙烯生产数据进行归一化处理；对归一化之后的乙烯生产数据进行整理形成[B，S，D]的形式，其中B表示批处理的大小，S表示输入数据的时长，D表示数据属性的个数；使用长短期记忆网络模型对整理之后的乙烯生产数据进行训练，所述长短期记忆网络模型的输入门在t时刻的计算公式如下：所述长短期记忆网络模型的遗忘门在t时刻的计算公式如下：所述长短期记忆网络模型的输出门与输出在t时刻的计算公式如下：其中，wil与分别代表输入数据-输入门、输入数据-遗忘门之间的权重矩阵，wcl与分别代表上一时刻的状态-输入门、上一时刻的状态-遗忘门之间的权重矩阵，wiw与wcw分别代表输入数据-输出门、上一时刻的状态-输出门之间的权重矩阵，wic代表输入层的初始权重矩阵，wh*与w*h分别代表与隐层相关的权重矩阵；根据注意力机制对多个历史时间点的结果进行加权计算，以获得不同时间点的数据依赖关系；使用基于逻辑回归的非线性变换拟合乙烯生产数据，以获得最终的预测输出。可选的，所述根据注意力机制对多个历史时间点的结果进行加权计算的步骤包括：根据注意力机制相关公式对多个历史时间点的结果进行加权计算，所述注意力机制相关公式如下：ut＝tanh(wwht+bw)(12)其中，ww与uw是注意力机制的权重矩阵，ut是第一次加权计算的结果，bw代表偏置项，ht代表注意力机制的输入，αt是作用在不同时刻的输出ht上的权重。可选的，所述使用基于逻辑回归的非线性变换拟合乙烯生产数据的步骤包括：使用逻辑回归相关公式拟合乙烯生产数据，所述逻辑回归相关公式如下：z＝wxt+b(15)可选的，还包括：使用均方误差公式计算误差，所述均方误差公式如下：可选的，使用均方根误差公式和平均相对误差公式对输出结果进行评估，所述均方根误差公式和所述平均相对误差公式如下：其中，分别代表真实结果与预测的输出结果，N是样本总数。本专利技术具有下述有益效果：本专利技术提供的基于注意力机制与逻辑回归的长短期记忆网络预测方法，包括：获取乙烯生产数据，对所述乙烯生产数据进行归一化处理，对归一化之后的乙烯生产数据进行整理，使用长短期记忆网络模型对整理之后的乙烯生产数据进行训练，根据注意力机制对多个历史时间点的结果进行加权计算，以获得不同时间点的数据依赖关系，使用基于逻辑回归的非线性变换拟合乙烯生产数据，以获得最终的预测输出。本专利技术提供的技术方案能够提高乙烯生产数据的时序特征进而提高长短期记忆网络模型的性能，从而实现乙烯生产过程的准确预测，提升乙烯生产能力，实现节能减排的目的。附图说明图1为本专利技术实施例一提供的长短期记忆网络预测方法的流程图。图2为本专利技术实施例一提供的不同模型对乙烯产量预测结果的示意图。图3为本专利技术实施例一提供的长短期记忆网络预测方法对乙烯产量的预测结果与真实结果的误差示意图。图4为本专利技术实施例一提供的乙烯生产优化方案示意图。具体实施方式为使本领域的技术人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术提供的基于注意力机制与逻辑回归的长短期记忆网络预测方法进行详细描述。实施例一近年来，出现了许多用来解决复杂化工能效问题的方法，例如经典的主元分析方法、数据包络、改进的DEA交叉模型、层析分析法以及改进的基于模糊C均值的层次分析法等都被用来分析能效水平，降低能耗，提高能源利用率。同时，一些基于神经网络的方法也被用于分析能效问题，例如基于样本聚类的极限学习机、自组织极限学习机、自联想神经网络等方法都被用来解决工业生产中遇到的生产效率和能源利用率等问题。通过对原始问题进行建模将其转换成类似数学拟合的问题来实现对工业生产中一些变量的预测的目的，并以此为参考得到改进的措施。随着人工智能的发展以及计算性能的提升，深度学习也得到了越来越广泛的研究与应用，目前为止在一些领域已经取得了显著的成就，比如基于卷积神经网络的深度学习模型在图像处理以及视觉领域的成就已经非常突出，甚至已经超越了人类。擅长处理序列数据的循环神经网络以及其改进型的长短期记忆网络在语音识别、文本处理、机器翻译等领域均取得了很好的结果。除此之外，深度学习也被用来处理化工过程中的故障识别与诊断、医学药物发现、电力负荷预测等领域，而且与其他方法的效果相比均有较大的提升。乙烯生产数据均是由设备在不同的时间点所采集而来，因此是典型的时序数据，基于这种数据特征，本实施例提出了一种基于注意力机制与逻辑回归的深度学习模型，用来实现对复杂化工过程中乙烯产量的准确预测，作为生产决策的依据。首先将采集的乙烯数据进行归一化处理，整理成模型输入所需要的形式，然后通过基于深度学习的长短期记忆网络提取数据之间的时序性特征，得到不同时刻的输出，采用注意力机制获取不同时刻数据之间的依赖关系，通过逻辑回归得到最终的预测输出。对于新的后续采集的乙烯数据，仍然采用相同的方式进行预处理，然后放到模型中即可得到预测结果。图1为本专利技术实施例一提供的长短期记忆网络预测方法的流程图。如图1所示，本实施例首先将数据进行归一化预处理并整理成模型所需要的格式，然后送入模型进行训练和预测。具体来说，本实施例将一段时间内的乙烯生产数据进行归一化预处理至0到1的之间：其中，与分别表示一个属性数据的最小值与最大值，表示t时刻第个属性的数据，表示归一化的结果。本实施例对于模型的输出也要进行反归一化处理：本实施例对工业数据进行建模之前还需要将其转换成模型所需要的特定的格式，实现利用过去一段时间内的数据来预测当前输出的目标，因此模型的每一次输入为一段时间内的历史数据，输出则为当前时刻的数据。将数据整理成[B，S，D]的形式，其中B表示一个batch的大小，S表示一次输入的数据的时长即S条历史数据，D表示属性的个数。当B＝1时，输入形式即为：本实施例中，整理的方式为：从第一条数据开始，连续S条数据作为一次新的输入数据，同样从第二条开始连续S条数据也作为一次新的输入数据，那么对于N条数据，就可以整理成N-S+1条新的输入数据。本实施例构建了一个专门用于处理序列数据的深度学习模型即长短期记忆网络(LongShort-TermMemory，LSTM)用来对工业乙烯数据进行建模，该模型通过输入门、遗忘门、输出门的方式来实现信息流的保护与控制。由于乙烯的生产环境本文档来自技高网...

【技术保护点】
1.一种基于注意力机制与逻辑回归的长短期记忆网络预测方法，其特征在于，包括：获取乙烯生产数据；对所述乙烯生产数据进行归一化处理；对归一化之后的乙烯生产数据进行整理形成[B，S，D]的形式，其中B表示批处理的大小，S表示输入数据的时长，D表示数据属性的个数；使用长短期记忆网络模型对整理之后的乙烯生产数据进行训练，所述长短期记忆网络模型的输入门在t时刻的计算公式如下：

【技术特征摘要】
1.一种基于注意力机制与逻辑回归的长短期记忆网络预测方法，其特征在于，包括：获取乙烯生产数据；对所述乙烯生产数据进行归一化处理；对归一化之后的乙烯生产数据进行整理形成[B，S，D]的形式，其中B表示批处理的大小，S表示输入数据的时长，D表示数据属性的个数；使用长短期记忆网络模型对整理之后的乙烯生产数据进行训练，所述长短期记忆网络模型的输入门在t时刻的计算公式如下：所述长短期记忆网络模型的遗忘门在t时刻的计算公式如下：所述长短期记忆网络模型的输出门与输出在t时刻的计算公式如下：其中，wil与分别代表输入数据-输入门、输入数据-遗忘门之间的权重矩阵，wcl与分别代表上一时刻的状态-输入门、上一时刻的状态-遗忘门之间的权重矩阵，wiw与wcw分别代表输入数据-输出门、上一时刻的状态-输出门之间的权重矩阵，wic代表输入层的初始权重矩阵，wh*与w*h分别代表与隐层相关的权重矩阵；根据注意力机制对多个历史时间点的结果进行加权计算，以获得不同时间点的数据依赖关系；使用基于逻辑回归的非线性变换拟合乙烯生产数据，以获得最终的预测输出。2.根据权利要求1所述的基于注意力机制与逻辑回归的长短...

【专利技术属性】
技术研发人员：耿志强，徐猛，韩永明，魏琴，欧阳智，
申请(专利权)人：贵州大学，北京化工大学，
类型：发明
国别省市：贵州,52