针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法技术

本发明专利技术提供一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法，属于航空发动机的健康管理与预测技术领域。首先，对数据预处理得到样本，设置RUL标签，得到样本的剩余使用寿命真实值。其次，构建由位置编码层、特征提取层和回归预测层组成的多尺度混杂注意力机制模型。再次，对模型进行训练，通过最小化损失函数，使模型输出的剩余使用寿命预测值RUL与真实值之间的差异逐渐变小，直到达到停止标准。最后，使用训练后的模型预测剩余使用寿命。本发明专利技术能够实现单个样本不同时间步信息的充分融合，可以考虑到所有样本间的相关性；能够更精确地预测航空发动机的剩余使用寿命。寿命。寿命。

【技术实现步骤摘要】
针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法


[0001]本专利技术属于航空发动机的健康管理与预测
，涉及一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制的深度学习建模方法。

技术介绍

[0002]航空发动机作为飞机的重要部件，其安全性和可靠性举足轻重。然而由于大部分零件都长时间工作在高温、高压、高速旋转等恶劣工作环境下，航空发动机发生故障的概率较高，并且随着使用时长的增加，各部件逐步老化，故障率随步攀升，严重影响飞机的安全运行。传统的航空发动机维修方式主要分为计划维修和事后维修，经常会导致“过修”和“失修”等两种情形，不仅造成了严重的资源浪费，也无法消除航空发动机潜在的安全隐患。解决这个问题的有效方法主要是针对航空发动机的历史传感器数据，提出一种基于数据驱动的机器学习或深度学习模型，从而预测航空发动机的剩余使用寿命，对地面系统提供一些决策支持，辅助地面维修人员对发动机进行一些维修工作，保证飞机安全性能的同时，避免“过度维护”造成的人力和物力方面的浪费。
[0003]目前，预测航空发动机剩余使用寿命的方法有以下几种：
[0004]1)基于卷积神经网络的预测方法。
[0005]该方法是在航空发动机历史传感器数据上，通过滑动时间窗口构造样本，然后使用卷积神经网络提取特征，最后通过全连接层进行剩余使用寿命的预测。卷积神经网络是一种通过卷积计算的前馈神经网络，是受生物学上的感受野机制启发而提出的，具有平移不变性，使用卷积核，最大的应用了局部信息，保留了平面结构信息。但是该方法在历史传感器数据的所有时间步上，感受野受到卷积核大小的限制，因此无法挖掘在时间维度相距较远的两组数据之间的相关性，预测能力比较有限。
[0006]2)基于长短期记忆神经网络的预测方法。
[0007]该方法也是在航空发动机历史传感器数据上，使用滑动时间窗口构造样本，然后通过长短期记忆神经网络提取特征，最后引入全连接层进行剩余使用寿命的预测。长短期记忆神经网络通过引入门控机制来设计历史数据特征的流动与损失，解决了传统循环神经网络的长期依赖问题。虽然长短期记忆神经网络能够充分利用时序信息，但是每一个时间步的信息是串行连接的，并行度较差，训练和预测耗时较长，同时由于没有考虑每个时间步的权重，冗余信息较多，从而最终影响预测的能力。
[0008]综合以上论述，本专利技术设计的多尺度混杂注意力机制深度学习模型是一种能够精确预测具有耦合时间序列数据的航空发动机剩余使用寿命。本专利由中国博士后科学基金(2022TQ0179)和国家重点研发计划(2022YFF0610900)资助。

技术实现思路

[0009]本专利技术针对卷积神经网络和长短期记忆神经网络在航空发动机剩余使用寿命预
测中所带来的局限性问题，提供了一种多尺度混杂注意力机制模型，并获得了更好的预测精确度。由于航空发动机是一种高度复杂和精密的气动热力机械系统，其传感器产生的时间序列数据具有很强的时序关联性，耦合性与多模态特征，因此，如何在多变的全包线环境下来预测航空发动机的剩余使用寿命一直是一个具有挑战性的难题。
[0010]为了达到上述目的，本专利技术采用的技术方案为：
[0011]一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法(方法流程图如图1所示)，包括离线训练阶段和在线测试阶段，这两个阶段的数据预处理方法类似。离线训练阶段采用航空发动机历史传感器数据训练多尺度混杂注意力机制模型，在线测试阶段根据航空发动机传感器采集的实时数据，使用训练好的模型预测剩余使用寿命。
[0012]具体步骤如下：
[0013]步骤1：数据预处理
[0014]1.1)分析航空发动机传感器原始数据与剩余使用寿命间的相关性，如果某个传感器原始数据的数值是恒定的，不随飞行循环数增加而变化，则剔除该传感器原始数据，实现数据降维。
[0015]1.2)对所选取的传感器产生的时间序列数据进行标准化，标准化公式如下：
[0016][0017]其中，x是航空发动机各传感器产生的原始时间序列数据，μ是原始时间序列数据的均值，δ是原始时间序列数据的方差，z是标准化后的时间序列数据。
[0018]1.3)在标准化后的时间序列数据上使用滑动时间窗口构造样本。具体方式如图2所示，其中，fi
j
表示航空发动机第i个传感器数据标准化后的第j个时间步的数值，航空发动机传感器数据的维度为k，时间序列长度为m，滑动时间窗口大小为n，滑动步长为1，沿着时间增长方向滑动，最终构造出的样本形式为
[0019]步骤2：设置RUL标签
[0020]对于步骤1.3构造的样本中的最后一条数据(即第n条数据)，将总飞行循环数Cycle
total
与当前飞行循环数Cycle
cur
的差值和剩余使用寿命阈值RUL
TH
相比取小者，计算其剩余使用寿命RUL
label
：
[0021]RUL
label
＝min(Cycle
total
‑
Cycle
cur
,RUL
TH
)
ꢀꢀ
(2)
[0022]将RIL
label
作为该样本的剩余使用寿命真实值供步骤4训练时使用。
[0023]步骤3：构建多尺度混杂注意力机制模型
[0024]多尺度混杂注意力机制模型网络结构图如图3a所示，可以分为位置编码层、特征提取层和回归预测层这三个部分。
[0025](3.1)位置编码层
[0026]首先，将步骤1.3构造的样本通过线性层映射到更高维度的空间使数据维度d可以被后续的注意头数量H整除：
[0027]Y＝XW
Y
ꢀꢀ
(3)
[0028]其中，是可训练的投影矩阵。
[0029]然后，加入正弦余弦位置编码得到作为步骤3.2的输入，位置编码矩阵
中各个位置的值如下：
[0030][0031]其中，P
i,2j
是编码矩阵P第i行第2j列(即为偶数列)的值；P
i,2j+1
是编码矩阵P第i行第2j+1列(即为奇数列)的值；i∈[0,n
‑
1]表示行数，表示列数。
[0032](3.2)特征提取层
[0033]特征提取层又可以分为多头混杂注意力机制和多尺度卷积神经网络两个部分，同时在这两个部分的结束位置加入残差连接和层归一化方法来抑制过拟合。多头混杂注意力机制部分由多头自注意力机制和多头外部注意力机制混杂而成。
[0034]①
多头自注意力机制如图3d所示，首先，将步骤3.1得到的结果作为输入通过线性层映射到查询Q、键K和值V这3个子空间：
[0035][0036]其中是可训练的投影矩阵。接着将他们拆分为H个注意头：
[0037][0038]其中是第i个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法，其特征在于，包括以下步骤：包括离线训练阶段和在线测试阶段，离线训练阶段采用航空发动机历史传感器数据训练多尺度混杂注意力机制模型，在线测试阶段根据航空发动机传感器采集的实时数据，使用训练好的多尺度混杂注意力机制模型预测剩余使用寿命；包括以下步骤：步骤1：数据预处理最终得到样本其中k为航空发动机传感器数据的维度，n为滑动时间窗口大小；步骤2：设置RUL标签对于步骤1.3构造的样本中的最后一条数据，此处最后一条数据指第n条数据，将总飞行循环数Cycle
total
与当前飞行循环数Cycle
cur
的差值和剩余使用寿命阈值RUL
TH
相比取小者，计算其剩余使用寿命RUL
label
：RUL
label
＝min(Cycle
total
‑
Cycle
cur
，RUL
TH
)
ꢀꢀ
(2)将RUL
label
作为该样本的剩余使用寿命真实值，在步骤4训练时使用；步骤3：构建多尺度混杂注意力机制模型多尺度混杂注意力机制模型网络结构图包括位置编码层、特征提取层和回归预测层这三个部分；(3.1)位置编码层首先，将样本通过线性层映射到更高维度的空间使数据维度d可以被后续的注意头数量H整除：Y＝XW
Y
ꢀꢀ
(3)其中，是可训练的投影矩阵；然后，加入正弦余弦位置编码得到作为步骤3.2的输入，位置编码矩阵中各个位置的值如下：其中，P
i，2j
是编码矩阵P第i行第2j列的值；P
i，2j+1
是编码矩阵P第i行第2j+1列的值；i∈[0，n
‑
1]表示行数，表示列数；(3.2)特征提取层特征提取层包括多头混杂注意力机制和多尺度卷积神经网络两部分，同时在这两部分的结束位置加入残差连接和层归一化方法来抑制过拟合；所述的多头混杂注意力机制由多头自注意力机制和多头外部注意力机制混杂而成，得到特征HybridAttention；所述的多尺度卷积神经网络不包含池化层和全连接层，只使用多个不同尺寸的卷积核对时序数据进行特征提取，并将结果进行融合，实现对数据本地特征提取能力的增强；将多头混杂注意力机制提取的特征HybridAttention作为输入，首先使用3个不同尺寸的卷积核分别提取特征，然后设置1个可以学习的参数初始值为1，其中参数β在步骤4的训练过程中进行梯度更新；并对参数β进行指数归一化，最后使用该参数对3个卷积核提取的特征进行加权求和得到最终结果MultiScaleConv：
其中为第i个卷积核提取的特征；(3.3)回归预测层首先将步骤3.2得到的结果展开为然后通过两层全连接神经网络计算结果，得到航空发动机的剩余使用寿命预测值RUL：RUL＝Relu(FW2+b1)W2+b2ꢀꢀ
(16)其中，为第一层全连接神经网络的投影矩阵，为第一层全连接神经网络的偏置，为第二层全连接神经网络的投影矩阵，为第二层全连接神经网络的偏置，投影矩阵和偏置都是可训练的，Relu为激活函数；步骤4：模型训练通过最小化损失函数，使模型输出的剩余使用寿命预测值RUL与真实值之间的差异逐渐变小，直到达到停止标准，所述真实值为步骤2所设置的RUL标签RUL
label
；损失函数采用均方误差(MSE)损失函数：其中，n是样本数，RUL
i
为第i个样本剩余使用寿命的实际值，为第i个样本剩余使用寿命的预测值；首先将步骤1.3得到的样本分批次输入到步骤3构建的...

【专利技术属性】
技术研发人员：马松，李志，孙涛，孙希明，徐赠淞，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：