基于注意力深度神经网络的流程工业能耗多目标优化方法技术

本发明专利技术涉及一种基于注意力深度神经网络的流程工业能耗多目标优化方法，包括：获得流程工业数据集，构建基于注意力深度神经网络的预测模型，使用流程工业数据集进行训练，得到电力消耗模型E、水能消耗模型W、燃气消耗模型G和产品质量模型Q，将电力消耗模型E、水能消耗模型W和燃气消耗模型G线性组合得到能耗预测模型EC；采用多目标优化算法对能耗预测模型EC和产品质量模型Q进行优化，得到优化结果。本发明专利技术利用多目标优化算法对能耗组合及能耗指标进行优化，在不降低质量的同时实现降低企业的综合能耗成本；多目标优化能通过综合寻优的方式缓解目标函数之间的冲突，得出更多可选方案，根据决策得到的均衡解反映用户需求。根据决策得到的均衡解反映用户需求。根据决策得到的均衡解反映用户需求。

【技术实现步骤摘要】
基于注意力深度神经网络的流程工业能耗多目标优化方法


[0001]本专利技术涉及流程工业生产能耗优化
，尤其是一种基于注意力深度神经网络的流程工业能耗多目标优化方法。

技术介绍

[0002]流程工业的生产过程有着不中断、连续性的典型特征，又被称之为连续型工业，流程工业的生产过程可视为一个多参量的函数。自变量是原材料、能源等生产要素，因变量是产品质量等输出结果。流程工业的代表行业有石油、化工、焦化、钢铁、水泥、玻璃等行业。中国在这些领域的年产值均占有近似全球一半的比重，其中能源就是主要的工业生产要素，是流程工业企业的主要生产成本项。故而研究工业生产过程中能源的消耗预测、能耗的优化问题非常重要，不仅可以帮助企业降本增效，也可以优化全社会的能源要素配置。
[0003]工业的生产线冗长、生产过程是个复杂的系统工程。现有的能耗预测工作，其训练模型前的特征选择工作往往依赖于生产专家的人工经验，无法做到自适应选择。此外，特征向量的选择往往影响着模型效果的天花板，不同专家认知下的特征向量的选择结果会出现不同，故而造成模型在行业内的泛化性差，影响研究成果的推广与落地。
[0004]同时，在实际的工业生产场景下，某一个工艺段会存在使用多种能源的情况，例如焦化生产过程就会同时使用水、电、燃气。现有的节能降耗研究工作大多着眼于单品种的能耗优化问题，然而企业的能耗优化问题是着眼于综合能耗生产要素基础之上的一个组合优化问题。

技术实现思路

[0005]为解决流程工业能耗预测中特征工程的复杂性问题以及能耗优化的单目标问题，本专利技术的目的在于提供一种利用多目标优化算法对能耗组合及能耗指标进行优化，在不降低质量的同时实现降低企业的综合能耗成本的基于注意力深度神经网络的流程工业能耗多目标优化方法。
[0006]为实现上述目的，本专利技术采用了以下技术方案：一种基于注意力深度神经网络的流程工业能耗多目标优化方法，该方法包括下列顺序的步骤：
[0007](1)获得流程工业数据集，构建基于注意力深度神经网络的预测模型，使用流程工业数据集对基于注意力深度神经网络的预测模型进行训练，得到四个模型分别为：电力消耗模型E、水能消耗模型W、燃气消耗模型G和产品质量模型Q，将电力消耗模型E、水能消耗模型W和燃气消耗模型G线性组合得到能耗预测模型EC；
[0008](2)采用多目标优化算法对能耗预测模型EC和产品质量模型Q进行优化，得到优化结果。
[0009]所述步骤(1)具体包括以下步骤：
[0010](1a)采集流程工业数据，进行数据清洗，得到流程工业数据集，将流程工业数据集按比例划分为训练集和测试集；
[0011](1b)进行数据标准化处理；
[0012](1c)构建基于注意力深度神经网络的预测模型，将训练集输入基于注意力深度神经网络的预测模型进行训练，得到能耗预测模型EC和产品质量模型Q；
[0013](1d)将测试集输入能耗预测模型EC和产品质量模型Q，计算测试集上预测值和实测值的误差，达到误差允许范围则视为训练结束，否则返回步骤(1c)调整网络结构重新训练。
[0014]所述步骤(2)具体包括以下步骤：
[0015](2a)确定能耗优化过程中的决策变量个数与每个决策变量的范围；
[0016](2b)确定能耗优化过程中的两个目标函数即能耗预测模型EC和产品质量模型Q；
[0017](2c)使用多目标优化算法即NSGA
‑Ⅱ
算法对这两个目标函数进行优化；
[0018](2d)当NSGA
‑Ⅱ
算法满足最终迭代次数时输出优化结果；
[0019](2e)将得到的优化结果进行仿真验证。
[0020]所述步骤(1b)具体是指：对流程工业数据集的数据进行标准化处理，使得X～N(0,1)，即均值为0，方差为1的标准正态分布；标准正态化针对所有样本的任一维度数据x
t
进行，计算公式如下：
[0021][0022]其中，为第t维数据的均值，σ
t
为第t维数据的标准差，t∈[1,n]。
[0023]所述步骤(1c)具体包括以下步骤：
[0024](1c1)确定注意力深度神经网络ADNN的网络结构，注意力深度神经网络ADNN分为注意力部分和深度神经网络DNN部分，标准化输入向量X＝(x
′1，x
′2，...，x
′
n
)
T
；
[0025]根据输入向量X，计算注意力向量V＝σ(g(X))；
[0026]其中，g为一维卷积，卷积核长度k根据输入维度自适应调整，k的计算公式为：
[0027][0028]其中，s和b均是量纲为1的参数，s＝2，b＝1，n为输入向量X的维度，通过一维卷积得到中间向量Z＝(z1，z2，
…
，z
n
)
T
，再通过激活函数Softmax将其值域缩放至(0，1)，转化为注意力向量V，其中，σ为激活函数Softmax，计算公式如下：
[0029][0030]最后将注意力向量V和输入向量X进行哈达玛积运算，得到重构后的输入向量
[0031]深度神经网络DNN的层数根据整体样本的大小和特征维度来确定，选取3至5层；
[0032]深度神经网络DNN各层输出公式如下：
[0033][0034]其中，深度神经网络DNN部分中选择Relu函数作为激活函数，其表达式为f(x)＝max(0，x)；X
(l
‑
1)
表示l
‑
1层的输入，W
(l
‑
1)
表示l
‑
1层的权重，b
(l
‑
1)
表示l
‑
1层的偏置；表示l层的输出预测值；
[0035]其次，注意力深度神经网络ADNN的初始化阶段随机分配算法的权值与偏置，同时设置最大迭代次数epoch和学习率η；
[0036](1c2)从训练集中选择小批量m个样本输入至注意力深度神经网络ADNN的输入层，然后通过注意力深度神经网络ADNN前向计算得到m个样本的电力消耗预测值E
hat
；根据E
hat
与实测值E
tr
计算损失值，对于回归类型连续值，损失函数选用均方误差，公式如下：
[0037][0038](1c3)计算梯度并进行反向传递来调整权值和偏置；
[0039]整个注意力深度神经网络ADNN中，权值和偏置是网络学习的核心，采用梯度下降法来更新，其公式如下：
[0040][0041][0042]其中，W
′
为调整后的权值，b
′
为调整后的偏置，η为学习率；表示权值的梯度；表示偏置的梯度；
[0043](1c4)从训练集中选取新的未被训练的m个样本返回步骤(1c2)，直至训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：该方法包括下列顺序的步骤：(1)获得流程工业数据集，构建基于注意力深度神经网络的预测模型，使用流程工业数据集对基于注意力深度神经网络的预测模型进行训练，得到四个模型分别为：电力消耗模型E、水能消耗模型W、燃气消耗模型G和产品质量模型Q，将电力消耗模型E、水能消耗模型W和燃气消耗模型G线性组合得到能耗预测模型EC；(2)采用多目标优化算法对能耗预测模型EC和产品质量模型Q进行优化，得到优化结果。2.根据权利要求1所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(1)具体包括以下步骤：(1a)采集流程工业数据，进行数据清洗，得到流程工业数据集，将流程工业数据集按比例划分为训练集和测试集；(1b)进行数据标准化处理；(1c)构建基于注意力深度神经网络的预测模型，将训练集输入基于注意力深度神经网络的预测模型进行训练，得到能耗预测模型EC和产品质量模型Q；(1d)将测试集输入能耗预测模型EC和产品质量模型Q，计算测试集上预测值和实测值的误差，达到误差允许范围则视为训练结束，否则返回步骤(1c)调整网络结构重新训练。3.根据权利要求1所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(2)具体包括以下步骤：(2a)确定能耗优化过程中的决策变量个数与每个决策变量的范围；(2b)确定能耗优化过程中的两个目标函数即能耗预测模型EC和产品质量模型Q；(2c)使用多目标优化算法即NSGA
‑Ⅱ
算法对这两个目标函数进行优化；(2d)当NSGA
‑Ⅱ
算法满足最终迭代次数时输出优化结果；(2e)将得到的优化结果进行仿真验证。4.根据权利要求2所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(1b)具体是指：对流程工业数据集的数据进行标准化处理，使得X～N(0,1)，即均值为0，方差为1的标准正态分布；标准正态化针对所有样本的任一维度数据x
t
进行，计算公式如下：其中，为第t维数据的均值，σ
t
为第t维数据的标准差，t∈[1,n]。5.根据权利要求2所述的基于注意力深度神经网络的流程工业能耗多目标优化方法，其特征在于：所述步骤(1c)具体包括以下步骤：(1c1)确定注意力深度神经网络ADNN的网络结构，注意力深度神经网络ADNN分为注意力部分和深度神经网络DNN部分,标准化输入向量X＝(x
′1,x
′2,
…
,x
′
n
)
T
；根据输入向量X，计算注意力向量V＝σ(g(X))；其中，g为一维卷积，卷积核长度k根据输入维度自适应调整，k的计算公式为：
其中，s和b均是量纲为1的参数，s＝2,b＝1,n为输入向量X的维度，通过一维卷积得到中间向量Z＝(z1,z2,
…
,z
n
)
T
,再通过激活函数Softmax将其值域缩放至(0,1)，转化为注意力向量V，其中，σ为激活函数Softmax,计算公式如下：最后将注意力向量V和输入向量X进行哈达玛积运算，得到重构后的输入向量深度神经网络DNN的层数根据整体样本的大小和特征维度来确定，选取3至5层；深度神经网络DNN各层输出公式如下：其中，深度神经网络DNN部分中选择Relu函数作为激活函数，其表达式为f(x)＝max(0,x)；X
(l
‑
1)
表示l
‑
1层的输入，W
(l
‑
1)
表示l
‑
1层的权重，b
(l
‑
1)
表示l
‑
1层的偏置；表示l层的输出预测值；其次，注意力深度神经网络ADNN的初始化阶段随机分配...

【专利技术属性】
技术研发人员：李晓洁，谢贻富，高学贵，沈亚，邱峰，刘胜军，范武松，
申请(专利权)人：合肥城市云数据中心股份有限公司，
类型：发明
国别省市：