【技术实现步骤摘要】
本专利技术涉及时间预测，具体为一种流程工业多元时间序列预测任务的预训练方法。
技术介绍
1、预训练方法是通过在大量未标记的数据上进行训练，使模型能够提取出数据的抽象特征和关键信息，从而在后续的任务中表现更好的方法。
2、现有技术中，专利公开号为cn115688871a的专利1提出了一种基于掩码重构的多元时间序列预训练方法，这种方法对输入时间序列数据中的片段进行掩码处理，然后利用编解码器架构对剩余的信息进行重构；预训练过程的目标是最小化原始序列和重构序列之间的平均绝对误差；通过这种方式，模型被迫学习输入序列中的周期信息和趋势，为后续预测任务提供更好的数据表示。
3、现有技术中，专利公开号为cn111950810a的专利2提出了一种基于自演化的预训练方法，主要是将n个单变量时间序列引入预训练模型，通过基于差分特征构造的方式，建立线性自回归模型；在模型构建过程中，多阶差分信息被显式地整合到预训练模型中，使其能够自动学习时间序列数据的趋势特征和相关性；这增强了数据的表征能力，从而进一步提升了预测模型的性能。
4、然而，上述现有技术的缺点在于不能很好的适应流程工业多元时间序列高时滞性、高非线性、弱周期性和随工况变化的特点。专利1提出的基于掩码重构的预训练方法在处理周期性较弱的数据时表现较差；因为该方法在重构过程中依赖于序列中的周期性模式，流程工业数据中的周期性相对较弱，模型难以有效地捕获周期信息，并可能导致模型过度关注噪声，减低后续模型的表现。专利2提出的预处理方法局限于线性关系，该方法基于线性自回归模
5、此外，现有技术都未考虑到流程工业数据的高时滞性的特点，高时滞性是指流程工业中变量之间的影响可能需要经过相当长的时间才能传递或显现，因此某些变量的变化可能在时间上滞后于其他变量。这种滞后现象通常源于流程工业的控制环节以及物理过程的积分性质或传递过程。在预测任务中，精确地捕捉这种时间滞后信息至关重要。此外，工业流程通常受到多种因素的影响，如操作条件、环境参数和外部因素等，这些因素统称为工况。工况的变化会影响到工业过程的运行和性能，进而可能影响变量的时滞性、自相关系数和变量间依赖关系的变化。不考虑工况辨识的预训练方法可能无法对变工况的工业数据进行有效的表示学习，限制了其在流程工业中的应用。
技术实现思路
1、本专利技术的目的在于提供一种流程工业多元时间序列预测任务的预训练方法，以解决上述
技术介绍
中提出的现有预训练方法在处理高时滞性、弱周期性和变工况流程工业数据时的特征提取能力不足的问题。
2、为实现上述专利技术目的，本专利技术采用如下技术方案：
3、一种流程工业多元时间序列预测任务的预训练方法，具体为一种融合工况辨识的流程工业多元时间序列预测任务预训练方法，其使用步骤如下：
4、s1：数据划分与预处理。首先，将流程工业多元时间序列数据进行必要的预处理，并按变量类型划分为过程变量(pv)序列、控制变量(op)序列和干扰变量(dv)序列。根据任务的需要，将数据集划分为历史输入序列x和相应的输出序列y；
5、s2：工况辨识与特征抽取。历史输入的过程变量(pv)序列、控制变量(op)序列和干扰变量(dv)序列被输入到工况辨识模块。在该模块中，通过时间维度上的一维卷积操作、时间维度上的全局自注意力操作、空间维度上的一维卷积操作、时空二维卷积操作的组合，产生工况特征的隐含表示g；
6、s3：权重矩阵计算。将工况特征的隐含表示g与可学习的权重矩阵w进行矩阵乘法运算并与偏置块bias元素级相加，得到与过程变量(pv)序列和控制变量(op)序列大小相同的权重矩阵λ；
7、s4：隐含层表示生成。利用权重矩阵λ对过程变量(pv)序列和控制变量(op)序列进行逐元素乘积(哈达玛乘积)，得到原始数据的隐含层表示h；
8、s5：预训练模型输出。隐含层表示h通过时间维度上的一维卷积操作和全连接层，得到预测输出序列
9、s6：预训练模型训练。通过最小化预测输出序列与实际输出序列y之间的平均绝对误差，采用反向传播算法训练模型中可学习的参数；
10、s7：预训练模型输出。将步骤s4得到的隐含层表示h作为预训练模型的输出，作为后续多元时间序列预测模型的输入；
11、进一步地，在所述步骤s1中，采集到的化工过程数据为离散的多变量时间数据序列，为了将数据整理为模型能接受的输入数据，需要对数据进行采样对齐、标准化预处理；
12、进一步地，所述采样对齐指由于不同传感器以不同的频率记录数据，为了保证其具有相同的时间间隔和序列长度，需要时间序列数据进行插值操作；
13、进一步地，所述插值操作为一阶样条插值，通过对已知数据点进行线性插值，生成新的数据点，从而填补时间序列之间的缺失值，使得所有变量的时间序列具有相同的采样间隔和序列长度。在采样完成后，时间序列可以被表示为[x1,x2,...,xt,...,xt]，其中t代表时间序列的长度，定义为采样数据中的每个离散时间点为一时间步，xt表示第t个时间步的输入样本，各时间步的输入样本均包含n个变量，n为传感器变量的个数；
14、进一步地，在所述步骤s1中，pv代表过程变量，op代表控制变量，dv代表干扰变量。这些变量在流程工业中分别对应着系统的运行状态、控制参数以及外部干扰。在流程工业多元时间序列预测任务中，通常只将过程变量作为预测目标；
15、进一步地，在所述步骤s1中，流程工业时间序列数据集表示为其中t表示时间序列的总长度，p表示过程变量的个数，c表示控制变量的个数，d表干扰变量的个数。根据变量类型划分后，得到过程变量(pv)序列控制变量(op)序列和干扰变量(dv)序列
16、进一步地，在所述步骤s6中，模型中可学习的参数包括步骤s2中时间一维卷积的卷积核、步骤s2中时间自注意力模块的权重矩阵、步骤s2中空间一维卷积的卷积核、步骤s2中时空二维卷积的卷积核、步骤s3中的权重矩阵w、步骤s3中偏置块bias、步骤s5中时间一维卷积的卷积核以及步骤s5中全连接层的权重。
17、与现有技术相比，以上一个或多个技术方案存在以下有益效果：
18、将本专利技术提出的方法应用于基于注意力的图卷积神经网络模型(astgcn)中，通过在某化工厂提供的精馏工段工业数据集上的验证，得出经过考虑工况辨识的预训练模型相比于未预训练的模型，其均方根误差降低了约15％。此外，相比于未考虑工况辨识的预训练模型，其均方根误差降低了约5％。
本文档来自技高网...【技术保护点】
1.一种流程工业多元时间序列预测任务的预训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：在所述步骤S1中，采集到的化工过程数据为离散的多变量时间数据序列，为了将数据整理为模型能接受的输入数据，需要对数据进行采样对齐、标准化预处理。
3.根据权利要求2所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：所述采样对齐指由于不同传感器以不同的频率记录数据，为了保证其具有相同的时间间隔和序列长度，需要时间序列数据进行插值操作。
4.根据权利要求3所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：所述插值操作为一阶样条插值，通过对已知数据点进行线性插值，生成新的数据点，从而填补时间序列之间的缺失值，使得所有变量的时间序列具有相同的采样间隔和序列长度；在采样完成后，时间序列可以被表示为[x1,x2,...,xt,...,xT]，其中T代表时间序列的长度，定义为采样数据中的每个离散时间点为一时间步，xt表示第t个时间步的输入样本，各时间步的输入样本均包含n个变量，n为传感器
5.根据权利要求1所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：在所述步骤S1中，PV代表过程变量，OP代表控制变量，DV代表干扰变量；这些变量在流程工业中分别对应着系统的运行状态、控制参数以及外部干扰；在流程工业多元时间序列预测任务中，将过程变量作为预测目标。
6.根据权利要求1所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：在所述步骤S1中，流程工业时间序列数据集表示为其中T表示时间序列的总长度，p表示过程变量的个数，c表示控制变量的个数，d表干扰变量的个数；根据变量类型划分后，得到过程变量序列控制变量序列和干扰变量序列
7.根据权利要求1所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：在所述步骤S6中，模型中可学习的参数包括步骤S2中时间一维卷积的卷积核、步骤S2中时间自注意力模块的权重矩阵、步骤S2中空间一维卷积的卷积核、步骤S2中时空二维卷积的卷积核、步骤S3中的权重矩阵W、步骤S3中偏置块Bias、步骤S5中时间一维卷积的卷积核以及步骤S5中全连接层的权重。
...【技术特征摘要】
1.一种流程工业多元时间序列预测任务的预训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：在所述步骤s1中，采集到的化工过程数据为离散的多变量时间数据序列，为了将数据整理为模型能接受的输入数据，需要对数据进行采样对齐、标准化预处理。
3.根据权利要求2所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：所述采样对齐指由于不同传感器以不同的频率记录数据，为了保证其具有相同的时间间隔和序列长度，需要时间序列数据进行插值操作。
4.根据权利要求3所述的流程工业多元时间序列预测任务的预训练方法，其特征在于：所述插值操作为一阶样条插值，通过对已知数据点进行线性插值，生成新的数据点，从而填补时间序列之间的缺失值，使得所有变量的时间序列具有相同的采样间隔和序列长度；在采样完成后，时间序列可以被表示为[x1,x2,...,xt,...,xt]，其中t代表时间序列的长度，定义为采样数据中的每个离散时间点为一时间步，xt表示第t个时间步的输入样本，各时间步的输入样本均包含n个变量...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。