针对航空发动机数据重构的生成对抗多头注意力神经网络自学习方法技术

本发明专利技术提供一种针对航空发动机数据重构的生成对抗多头注意力神经网络自学习方法，属于航空发动机缺失数据的端到端自学习领域。首先，对样本进行预处理，采用机器学习算法先对标准化后的数据进行预填补，将预填补后的信息作为部分训练信息参与网络训练。其次，构建生成对抗多头注意力网络模型，并利用训练样本集训练生成对抗多头注意力网络模型。最后，利用训练好的样本生成器G生成样本。本发明专利技术使用生成对抗网络可以更好的学习到数据的分布信息，使用并联卷积和多头注意力机制充分挖掘了航空发动机数据之间的空间信息和时序信息，与现有填补算法相比，该算法能有效提高缺失数据自学习精度，对航空发动机后续的预测和维护有着重大的意义。重大的意义。重大的意义。

【技术实现步骤摘要】
针对航空发动机数据重构的生成对抗多头注意力神经网络自学习方法


[0001]本专利技术属于航空发动机缺失数据的端到端自学习领域，涉及到一种针对航空发动机数据填补的基于卷积多头注意力机制的生成对抗网络建模方法。

技术介绍

[0002]航空发动机作为飞机的“心脏”，它的健康状况影响着飞机的安全飞行。航空发动机常年工作在高温、高压、高噪声的环境下，因此航空发动机相关参数的测量是一个难点与挑战。事实上，在测量的过程中，常见问题主要是由于振动异常、电磁干扰、传感器测量误差与故障等原因，会导致数据采集中断，造成部分传感器数据缺失等问题。在实际操作中，如果数据库收集到不完整数据，不仅会造成实际数据与事先估计的差异，还会降低计算的准确性，这就造成了数据处理误差，限制了后续的预测和维护。
[0003]目前，针对航空发动机缺失数据处理问题的方法有以下几种：
[0004]1)基于传统统计学的方法
[0005]数据填补问题最早可归类于统计学领域，其核心思想就是利用一些统计学的知识，实现对缺失数据的有效填补，包括均值填补法、众数填补法、极大似然估计法等。其中，均值填补和众数填补方法缺乏随机性，丢失了大量数据的有效信息，而极大似然估计方法计算较复杂。其它们的共同缺点是不能有效挖掘多元数据属性间的相关性。
[0006]2)基于机器学习的KNN方法
[0007]针对数据填补问题上的机器学习方法，如常见的KNN填补法。KNN算法明显受数据量的大小影响，并且在寻找近邻时需要计算数据之间的距离，因此数据量越大需要的计算时间越多，但是数据量较小时，不能保证选择的K个近邻与待填补数据充分接近。
[0008]综合以上论述，本专利技术设计的基于卷积自注意力机制生成对抗网络自学习技术，是一种针对具有耦合多元时间序列特性的航空发动机缺失数据的建模方法。本专利由中国博士后科学基金(2022TQ0179)和国家重点研发计划(2022YFF0610900)资助。

技术实现思路

[0009]本专利技术针对当前航空发动机缺失数据重构算法的局限性问题，提供了一种基于卷积多头注意力机制的生成对抗网络建模方法，并获得了更好的填补精确度。由于航空发动机是一种高度复杂的气动
‑
热力
‑
机械系统，它所生成的时间序列数据具有很强的相关性，因此，如何充分利用航空发动机数据中的属性相关性和时序关联性，来预测航空发动机的缺失数据一直是一个挑战性的难题。
[0010]为了达到上述目的，本专利技术采用的技术方案为：
[0011]一种针对航空发动机缺失数据的基于卷积多头注意力机制的生成对抗网络建模方法，包括以下几个步骤：
[0012]步骤S1：样本预处理
[0013]1)将带有缺失值的航空发动机数据集划分为训练样本集和测试样本集，训练样本集用于模型的训练，测试样本集用于训练后模型的检验，由于对训练样本集和测试样本集处理方法相同，故以下表述中不做区分，假设航空发动机数据具有n个属性，则统一用X＝{X1,X2,...X
n
}表示。
[0014]2)标记缺失值
[0015]由于X中含有缺失值，缺失项用NAN表示，未缺失项为原始值，构造出与X大小相等的掩码矩阵M，对于X中缺失项，掩码矩阵对应位置标记为0，对于X中未缺失项，掩码矩阵对应位置标记为1，从而实现对缺失数据和未缺失数据的标记。
[0016]3)由于航空发动机一些传感器之间数值差异过大，如果直接采用原始数据，这些特征的量纲都是不一样的，这会对后续神经网络的训练产生影响。因此通过标准化处理，可以使得不同的特征具有相同的尺度。这样，在使用梯度下降法学习参数的时候，不同特征对参数的影响程度就是相同的。对于未缺失项，利用如下公式将所有传感器数据进行统一标准化，
[0017][0018]其中X
′
i
表示特征i标准化后的数据，X
i
表示特征i原始数据，mean
i
表示特征i的均值，σ
i
表示特征i的方差，对于缺失项，将NAN替换为0，最终得到标准化后的多元时序数据X
′
＝{X
′1,X
′2,...X
′
n
}。
[0019]4)采用滑动窗口法构造时序样本
[0020]对X
′
、M，采用滑动窗口法，在时间维度进行滑动，提取样本的时间信息，构造出一系列n
×
Windowsize的时序样本，其中n为样本的特征维数，Windowsize为窗口大小，即将X
′
、M重构为m
×
n
×
Windowsize形式，m为样本数量，取决于原始样本大小。
[0021]步骤S2，预填补
[0022]由于生成对抗网络生成的数据具有较大的随机性，为了使网络生成的数据较好拟合原始数据分布，因此采用机器学习算法先对X
′
进行预填补，将预填补后的信息作为部分训练信息X
pre
参与网络训练。
[0023]步骤S3：构建生成对抗多头注意力网络模型
[0024]1)针对航空发动机缺失数据的基于卷积多头注意力机制的生成对抗网络建模方法，主要由生成器G和判别器D构成；生成器G由并联卷积层、全连接层、位置编码层、N层TransformerEncoder模块、并联卷积层和全连接层组成，即如下公式表示：
[0025]Conv1d1×1&Conv1d1×3‑
Linear
‑
PositionalEncoding
‑
N
×
TransformerEncoder
‑
Conv1d1×1&Conv1d1×3‑
Linear
ꢀꢀ
(2)
[0026]所述的并联卷积层和全连接层(Conv1d1×1&Conv1d1×3‑
Linear)是为了有效提取航空发动机多元数据的属性相关性，并联卷积层由Conv1d1×1和Conv1d1×3并联组成，再通过全连接层进行组合，作为后续位置编码层输入。
[0027]所述的位置编码层(PositionalEncoding)是为了使模型能够利用序列的顺序，注入一些关于序列中标记的相对或绝对位置的信息。为此，本专利技术在输入中添加PositionalEncoding，采用公式(3)进行位置编码，其中n为窗口大小，pos是时序位置，d
model
为数据总维数，d为维度数，d∈(0,1...d
model
‑
1)，也就是说，位置编码的每个维度都
对应于一个不同的正余弦曲线，由此输入数据的位置可被单独唯一标记，最后作为后续N层TransformerEncoder层输入。
[0028][0029]所述的N层TransformerEn本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对航空发动机数据重构的生成对抗多头注意力神经网络自学习方法，其特征在于，包括以下步骤：步骤S1：样本预处理1)将带有缺失值的航空发动机数据集划分为训练样本集和测试样本集，训练样本集用于模型的训练，测试样本集用于训练后模型的检验，假设航空发动机数据具有n个属性，则统一用X＝{X1,X2,...X
n
}表示；2)标记缺失值由于X中含有缺失值，缺失项用NAN表示，未缺失项为原始值，构造出与X大小相等的掩码矩阵M，对于X中缺失项，掩码矩阵对应位置标记为0，对于X中未缺失项，掩码矩阵对应位置标记为1，从而实现对缺失数据和未缺失数据的标记；3)通过标准化处理，使不同的特征具有相同的尺度；对于未缺失项，利用如下公式将所有传感器数据进行统一标准化，其中X
′
i
表示特征i标准化后的数据，X
i
表示特征i原始数据，mean
i
表示特征i的均值，σ
i
表示特征i的方差，对于缺失项，将NAN替换为0，最终得到标准化后的多元时序数据X
′
＝{X
′1,X
′2,...X
′
n
}；4)采用滑动窗口法构造时序样本对X
′
、M，采用滑动窗口法，在时间维度进行滑动，提取样本的时间信息，构造出一系列n
×
Windowsize的时序样本，其中n为样本的特征维数，Windowsize为窗口大小，即将X
′
、M重构为m
×
n
×
Windowsize形式，m为样本数量，取决于原始样本大小；步骤S2，预填补为了使网络生成的数据较好拟合原始数据分布，采用机器学习算法先对X
′
进行预填补，将预填补后的信息作为部分训练信息X
pre
参与网络训练；步骤S3：构建生成对抗多头注意力网络模型1)针对航空发动机缺失数据的基于卷积多头注意力机制的生成对抗网络建模方法，主要由生成器G和判别器D构成；生成器G由并联卷积层、全连接层、位置编码层、N层TransformerEncoder模块、并联卷积层和全连接层组成，即如下公式表示：Conv1d1×1&Conv1d1×3‑
Linear
‑
PositionalEncoding
‑
N
×
TransformerEncoder
‑
Conv1d1×1&Conv1d1×3‑
Linear (2)2)构造出与X大小相等的随机矩阵Z，对于缺失项数据，填入均值为0，方差为0.1的随机数，对于未缺失项数据，填入0；由此引入随机值，使之后模型训练更有鲁棒性；根据掩码矩阵M，构造出与M完全相同的矩阵M
′
，再对于M
′
中所有为0的项，以90％的概率置为1，最终得到提示矩阵H；生成器G的输入数据为标准化后的多元时序数据X
′
、随机矩阵Z，掩码矩阵M、预填补矩阵X
pre
，使用并联卷积层提取属性间关联信息，使用位置编码将输入数据的时序信息进行编码，使用N层TransformerEncoder模块有效提取时序信息，最后使用并联卷积层和全连接层，输出完备数据信息X
g
，利用X
g
对X
′
中的缺失项进行填补；判别器D和生成器G结构上相似，仅在最后一层添加Sigmoid激活函数，以计算交叉熵损...

【专利技术属性】
技术研发人员：马松，徐赠淞，孙涛，孙希明，李志，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：