一种基于Transformer的自编码器软测量建模方法技术

工业过程是个复杂的系统，工业过程数据有强非线性、噪声、标签数据有限等问题，自编码器等方法不能很好地从这些数据中提取有效的特征表示，模型的预测性能有待提升。本发明专利技术公开了一种基于Transformer的自编码器软测建模方法。该方法包含两个子模型——重构模型和回归模型。在重构模型中，将具有强大非线性全局特征提取能力和抗噪声干扰能力的Transformer引入自编码器中来获取更有效的特征表示，同时引入无监督学习帮助模型从无标签数据中学习信息来提高模型提取特征表示的能力。重构模型提取到的特征表示输入回归模型预测结果。在一个工业实例上的实验验证了本发明专利技术能够提取比其他方法更有效的特征表示，预测性能有所提升，对监控优化工业生产具有指导意义。对监控优化工业生产具有指导意义。对监控优化工业生产具有指导意义。

【技术实现步骤摘要】
一种基于Transformer的自编码器软测量建模方法


[0001]本专利技术涉及一种软测量建模方法，该方法在工业生产及控制领域具有重要的应用和推广价值。

技术介绍

[0002]在工业生产过程中，实时监测关键质量变量对监控、指导和优化生产活动有重要的意义。然而，由于所处生产环境恶劣、测量仪器昂贵等原因，一些关键质量变量并不容易获得。且一些关键质量变量的检测具有采样周期长、高延迟的特点，测量数据存在滞后性，严重限制生产水平的进一步提高。软测量技术仅仅依赖易获得的辅助变量间接获得关键质量变量的数值，为工业过程中关键质量变量的监测提供了一种新的途径。软测量技术通过将数据分析与系统辨识技术相结合，来构建难测变量的预测模型，最终达到代替硬件仪表测量的目的。如果建立的软测量模型准确可靠，不仅可以实现关键变量的准确测量，避免昂贵的硬件设备的投入，还能够大幅提高工业生产过程的控制水平。
[0003]基于过程机理的软测量建模方法和基于数据驱动的软测量建模方法是软测量建模中常用的两种方法。基于过程机理建模的方法基于生产过程的内部机理建模。该方法通常根据能量守恒定律、动力学以及物料平衡等化学、物理定律，建立描述生产过程信息的模型，由此反映过程变量之间的内在关联。但是，要想建立准确的机理驱动模型，需要对过程的内部机理有非常系统、深入的了解。然而，对于复杂的工业生产过程，精确的机理模型往往很难建立。特别是当模型变得复杂时，就更加难以实现，同时模型的精度也无法得到保证。这极大地限制了机理建模方法在工业生产过程中的推广使用。相比于机理建模方法，数据驱动建模方法不需要了解详细的生产过程的内部机理，只需要收集来自真实场景的过程变量数据就可以实现，因此成为了一种工业生产过程中常用的软测量建模方法，得到了越来越多的应用。
[0004]近年来，深度学习技术凭借强大的复杂系统表示能力和对大量数据的处理能力成为了基于数据驱动的软测量建模常用的方法之一。常用的方法包括自编码器、深度信念网络、卷积神经网络等。但是工业过程是个复杂的系统，具有强非线性、高噪声以及标签数据有限等特点。传统的方法对工业系统的表示能力不足，不能很好地从这些数据中提取有效的特征表示，模型的预测性能有待提升。

技术实现思路

[0005]为了解决复杂工业系统数据具有强非线性、噪声的特性和标签数据有限的问题，本专利技术提出一种基于Transformer和自编码器提取特征表示的软测量建模方法，通过结合Transformer和自编码器专利技术了一种新的软测量方法Transformer
‑
AE，该方法同时具备Transformer和自编码器的优点，具有强大的非线性全局特征提取能力、抗噪声干扰能力以及无标签数据的利用能力。
[0006]本专利技术主要包括六个部分：(1)获取数据并进行数据预处理；(2)建立子模型1——
重构模型；(3)训练子模型1——重构模型；(4)建立子模型2——回归模型；(5)训练子模型2——回归模型；(6)验证本专利技术提出的模型性能。下面分别介绍以上六个部分的内容：
[0007]1、获取数据并进行数据预处理。从现场采集一段时间的历史数据。以火力发电过程中的蒸汽量数据为例，采集的数据包括燃烧给量，给水水量，锅炉床温、床压等38个辅助变量数据和蒸汽量数据。由于数据量纲不一使得模型的学习效果不是特别好，需要通过最大最小归一化操作对数据进行预处理，来统一量纲。由于数据的顺序对模型性能也有影响，需要打乱数据，对数据进行随机化处理。为了训练模型具有从无标签数据中学习信息的能力，模型的训练数据中需要包含无标签数据，以1:1的比例把训练数据划分为有标签数据和无标签数据，其中有标签数据保留了标签信息，无标签数据不保留标签信息。
[0008]2、建立子模型1——重构模型。重构模型以全部训练集数据的辅助变量作为输入，输入数据既包含有标签数据集中的辅助变量数据，也包含无标签数据集中的辅助变量数据。重构模型是一个嵌入了Transformer的自编码器，包含编码器和解码器。编码器接收输入数据，经过升维、位置编码和Transformer编码器和降维的操作后得到数据的有效特征表示。解码器接收由编码器输出的特征表示，对特征表示进行解码得到重构的输入数据。
[0009]3、训练子模型1——重构模型。在训练重构模型的过程中，为了充分利用有标签数据的标签信息，让这部分数据的标签参与模型的训练过程中，通过相关性系数计算能得到不同辅助变量对标签数据的影响程度。将这种不同变量对标签数据有不同影响的思想引入重构模型的损失函数设计中。
[0010]4、建立子模型2——回归模型。回归模型以有标签数据的辅助变量特征表示作为输入，输出预测的蒸汽量数据。回归模型是一个多层感知机结构。
[0011]5、训练子模型2——回归模型。在训练回归模型的过程中，以均方误差作为损失函数，优化模型参数。
[0012]6、验证模型性能。把工业过程中的真实数据输入训练好的模型预测结果，模型的预测评价指标采用均方误差MSE、均方根误差RMSE和平均绝对误差MAE，MSE、RMSE和MAE的值越小，表示模型的预测精度越高。
[0013]本专利技术所采用的技术方案的详细实施步骤如下：
[0014]步骤1：获取数据并进行数据预处理。获取工业系统中的历史数据，由于这些数据量纲不一使得模型的学习效果不是特别好，以及这些数据的顺序具有一定的规律会影响模型的预测性能。通过步骤1.1和步骤1.2对数据进行最大最小归一化和随机化的预处理操作。为了训练模型获得从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，步骤1.3进行数据集的划分。
[0015]步骤1.1：对所有变量的数据进行最大最小归一化操作，将全部变量的数据范围统一起来，具体方法如下：
[0016][0017]其中max和min分别表示某变量的最大值和最小值，x'表示该变量进行最大最小归一化操作后的结果。
[0018]步骤1.2：将数据进行随机化操作，打乱顺序，得到训练数据集。
[0019]步骤1.3：为了训练模型具有从无标签数据中学习信息的能力，训练集数据中需要
包含无标签数据，以1:1的比例把训练数据划分为有标签数据和无标签数据，其中有标签数据保留了标签信息，无标签数据不保留标签信息。
[0020]步骤2：建立子模型1——重构模型。重构模型以全部训练集数据的N个辅助变量作为输入，输入数据既包含有标签数据集中的辅助变量数据，也包含无标签数据集中的辅助变量数据。重构模型是一个嵌入了Transformer的自编码器，包含编码器和解码器。首先通过步骤2.1、2.2、2.3、2.4构建编码器，然后通过步骤2.5构建解码器。
[0021]步骤2.1：升维。升维操作将数据调整为合适的维度，有N个辅助变量的输入向量X∈R
N
被升维成X∈R
N
×
D
，其中D是每个辅助变量升维后的维度。
[0022]步骤2.2：位置编码。位置编码的具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer和自编码器提取特征表示的软测量建模方法，其特征在于：包括以下步骤：步骤1：获取数据并进行数据预处理。获取工业系统中的历史数据，由于这些数据量纲不一使得模型的学习效果不是特别好，以及这些数据的顺序具有一定的规律会影响模型的预测性能。通过步骤1.1和步骤1.2对数据进行最大最小归一化和随机化的预处理操作。为了训练模型获得从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，步骤1.3进行数据集的划分。步骤1.1：对所有变量的数据进行最大最小归一化操作，将全部变量的数据范围统一起来，具体方法如下：其中max和min分别表示某变量的最大值和最小值，x'表示该变量进行最大最小归一化操作后的结果。步骤1.2：将数据进行随机化操作，打乱顺序，得到训练数据集。步骤1.3：为了训练模型具有从无标签数据中学习信息的能力，训练集数据中需要包含无标签数据，以1:1的比例把训练数据划分为有标签数据和无标签数据，其中有标签数据保留了标签信息，无标签数据不保留标签信息。步骤2：建立子模型1——重构模型。重构模型以全部训练集数据的N个辅助变量作为输入，输入数据既包含有标签数据集中的辅助变量数据，也包含无标签数据集中的辅助变量数据。重构模型是一个嵌入了Transformer的自编码器，包含编码器和解码器。首先通过步骤2.1、2.2、2.3、2.4构建编码器，然后通过步骤2.5构建解码器。步骤2.1：升维。升维操作将数据调整为合适的维度，有N个辅助变量的输入向量X∈R
N
被升维成X∈R
N
×
D
，其中D是每个辅助变量升维后的维度。步骤2.2：位置编码。位置编码的具体方法如下：步骤2.2：位置编码。位置编码的具体方法如下：其中，pos表示位置，d表示维度。得到的位置编码结果PE∈R
N
×
D
，将步骤2.1得到的X和PE相加得到注入了位置信息的X
PE
。步骤2.3：Transformer编码器层。将步骤2.2得到的X
PE
进入T个Transformer编码器模块提取全局非线性特征。每个Transformer编码器结构如图4所示。X
PE
在一个Transformer编码器中先进行多头注意力计算，“多头”意味着将X
PE
划分成几个子空间，子空间的数量就是头的数量，在每个子空间head
h
中做关于可训练矩阵q
h
,k
h
,v
h
的自注意力计算，多头注意力计算方式如下：MHA(X
PE
)＝project(Concat(head1,head2,
…
,head
h
))head
h
＝Attention(q
h
,k
h
,v
h
)
为了提高表示能力，需要做残差连接操作，多头注意力结果MHA(X
PE
)和原始X
PE
相...

【专利技术属性】
技术研发人员：高世伟，赵文丰，党小超，董晓辉，张稣艾，曾宇峰，方则宇，陈致伟，
申请(专利权)人：西北师范大学，
类型：发明
国别省市：