一种基于多注意力机制的剩余使用寿命不确定性预测方法技术

本发明专利技术提出一种基于多注意力机制的剩余使用寿命不确定性预测方法，获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据，通过自注意力机制对传感器数据的特征维度进行加权；使用具有共享参数的时间卷积网络学习传感器数据的时间和空间相关性信息；通过自注意力机制对时间维度进行加权，使用全连接层，对传感器数据进行预测；使用零开始训练法，并将分位数损失设置为模型训练的损失，训练基于多注意力机制的TCN模型。本发明专利技术简化了剩余使用寿命不易估计并且增加了预测的置信区间，提高可信度的过程，为诸如剩余使用寿命预测的问题提供了新的解决方案。命预测的问题提供了新的解决方案。命预测的问题提供了新的解决方案。

【技术实现步骤摘要】
一种基于多注意力机制的剩余使用寿命不确定性预测方法


[0001]本专利技术涉及剩余使用寿命预测领域，具体涉及一种基于多注意力机制的剩余使用寿命不确定性预测方法。

技术介绍

[0002]预知资产的剩余使用寿命可以让工程师更合理的制定维修计划，能够减少停机时间，防止灾难性故障，并且降低成本提高效率。因此，准确预测剩余使用寿命具有重大意义。
[0003]随着深度学习的发展，在预测剩余使用寿命方面，传统的深度学习模型诸如RNN不具备并行处理的能力，对后续时间的预测必须等待上一步的完成，这就降低了模型的灵活性，并导致误差按步累积；CNN由于其卷积核的大小有限，不适合建模时间序列问题，无法有力地捕获长期依赖信息。为了获得能够自适应地提取特征并输出剩余使用寿命估计的预测方法，机器学习模型应该具有从训练数据中学习有用信息和端到端可训练参数的能力。TCN使用残差网络和扩张卷积的组合来增强网络内存，使其在长时间序列预测任务中更有效。然而，目前在预测中对TCNs的研究很少。因此，简化剩余使用寿命预测任意不确定性量化的过程，探索TCN网络在剩余使用寿命预测方面具有非常重要的应用价值。

技术实现思路

[0004]本专利技术的目的在于提出一种基于多注意力机制的剩余使用寿命不确定性预测方法，以解决燃气涡轮剩余使用寿命的预测问题。
[0005]实现本专利技术目的的技术解决方案为一种基于多注意力机制的剩余使用寿命不确定性预测方法，包括如下步骤：
[0006]步骤1，获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据构建训练集，并进行预处理，预处理后的数据为包含退化过程、时间滞后阶数、传感器个数的三维数据；
[0007]步骤2，构建基于多注意力机制的TCN网络，使用自注意力机制对预处理后的三维数据的特征维度进行加权，得到传感器带有加权特征信息的序列数据；使用具有共享参数的时间卷积网络对带有加权特征信息的序列数据进行学习，得到传感器带有时间和空间相关性信息的序列数据；使用自注意力机制对带有时间和空间相关性信息的序列数据在时间维度进行加权，得到传感器带有加权时间信息的序列数据；使用全连接层，对得到带有加权时间信息的序列数据进行预测，得到预测的剩余使用寿命；
[0008]步骤3，使用零开始训练法，并将分位数损失设置为模型训练的损失，训练基于多注意力机制的TCN网络，并运用网格搜索技术，得到网络的最优参数；
[0009]步骤4，对待预测剩余使用寿命的燃气涡轮引擎传感器数据进行预处理，，输入训练好的模型，完成剩余使用寿命预测。
[0010]进一步的，步骤1，获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据，并进行预处理，具体步骤为：
[0011]步骤1.1：绘制随着时间变化的所有引擎每一传感器的数据的趋势图，根据图像的趋势，舍弃掉对传感器的退化没有影响的引擎，最终得到影响传感器退化的引擎数据，这些数据从崭新状态开始记录直至传感器完全报废；
[0012]步骤1.2：对影响传感器退化的引擎数据进行Z值标准化；
[0013]步骤1.3：对剩余使用寿命假设它是线性下降到零，对Z值标准化后的引擎数据选取一个时间节点，在这个时间之前，任何引擎的退化都是不明显的，从这里进行截断，即传感器剩余使用寿命大于该节点值的，均设置为该节点值，最终得到剩余使用寿命从该节点以后开始逐渐减少的数据；
[0014]步骤1.4：将传感器的时间滞后数据添加到截断后的数据中，并将缺失历史数据的条目舍弃，数据维度由二维(n，s)变为三维(n
‑
p*(t
n
‑
1)，t
n
，s)，其中n为训练集所有传感器总记录数，t
n
为滞后阶数，s为记录引擎工作状态的传感器数量，p为引擎数量，最终得到包含退化过程、时间滞后阶数、传感器个数的三维数据。
[0015]进一步的，基于多注意力机制的TCN网络中，使用自注意力机制对预处理后的三维数据的特征维度进行加权，得到传感器带有加权特征信息的序列数据，具体步骤为：
[0016]步骤2.1：对第t时间步收集的传感器测量值x
t
＝{x
1，t
，x
2，t
，
…
，x
S，t
}，计算重要性权重，其计算公式如式(1)：
[0017][0018]其中，s是传感器的编号，t是时间步，x
t
是传感器的测量值，h
w1
是训练过程中要学习的隐藏向量，α
s，t
是第s个传感器第t时间步的特征维度权重，因此，传感器的特征维度重要性权重向量为
[0019]步骤2.2：根据重要性权重，计算第s个传感器特征维度重要性权重的平均值其计算公式如式(2)：
[0020][0021]其中，t为时间步，α
s，t
是第s个传感器第t时间步的特征维度权重，t
n
为滞后阶数；
[0022]步骤2.3：根据特征维度重要性权重平均值和传感器测量值，计算特征维度加权后的传感器数据，其计算公式如式(3)：
[0023][0024]其中，x
s，t
是第s个传感器第t时间步时刻的传感器测量值，是第s个传感器重要性权重的平均值。
[0025]进一步的，基于多注意力机制的TCN网络中，使用具有共享参数的时间卷积网络对步骤2得到的序列数据进行学习，得到传感器带有时间和空间相关性信息的序列数据步骤2得到的序列数据进行学习，得到传感器带有时间和空间相关性信息的序列数据是第s个传感器第t时间步的时间卷积网络的输出，其中：
[0026]时间卷积网络由两个残差块组成，其中每个残差块由两个稀疏的因果卷积层和一个卷积层组成，每个残差块中使用残差连接输入和卷积层后的输出；每个因果卷积层后连
接门控激活层和批量归一化层，其中门控激活层被定义为：
[0027][0028]其中w表示卷积参数，o表示扩张因果卷积层的输出，*是卷积运算，
⊙
是元素乘积，tanh是反正弦激活函数，sigmoid是将变量映射到0
‑
1的激活函数，是门控激活的输出。
[0029]进一步的，基于多注意力机制的TCN网络中，使用自注意力机制对步骤3 中得到的序列数据在时间维度进行加权，得到传感器带有加权时间信息的序列数据，具体步骤为：
[0030]步骤4.1：将softmax函数应用于时间卷积网络的输出其计算公式如式(5)：
[0031][0032]其中是第s个传感器时间卷积网络的输出，是一个随机生成的隐藏向量，第t时间步的时间维度重要性权重向量为λ
t
＝(λ
1，t
，...，λ
S，t
)；
[0033]步骤4.2：根据重要性权重，计算时间维度重要性权重的平均值其计算公式如式(6)：
[0034][0035]其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多注意力机制的剩余使用寿命不确定性预测方法，其特征在于，包括如下步骤：步骤1，获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据构建训练集，并进行预处理，预处理后的数据为包含退化过程、时间滞后阶数、传感器个数的三维数据；步骤2，构建基于多注意力机制的TCN网络，使用自注意力机制对预处理后的三维数据的特征维度进行加权，得到传感器带有加权特征信息的序列数据；使用具有共享参数的时间卷积网络对带有加权特征信息的序列数据进行学习，得到传感器带有时间和空间相关性信息的序列数据；使用自注意力机制对带有时间和空间相关性信息的序列数据在时间维度进行加权，得到传感器带有加权时间信息的序列数据；使用全连接层，对得到带有加权时间信息的序列数据进行预测，得到预测的剩余使用寿命；步骤3，使用零开始训练法，并将分位数损失设置为模型训练的损失，训练基于多注意力机制的TCN网络，并运用网格搜索技术，得到网络的最优参数；步骤4，对待预测剩余使用寿命的燃气涡轮引擎传感器数据进行预处理，输入训练好的模型，完成剩余使用寿命预测。2.根据权利要求1所述的一种基于多注意力机制的剩余使用寿命不确定性预测方法，其特征在于，步骤1，获取燃气涡轮引擎随着时间推移从完好状态逐渐退化直至报废的二维数据，并进行预处理，具体步骤为：步骤1.1：绘制随着时间变化的所有引擎每一传感器的数据的趋势图，根据图像的趋势，舍弃掉对传感器的退化没有影响的引擎，最终得到影响传感器退化的引擎数据，这些数据从崭新状态开始记录直至传感器完全报废；步骤1.2：对影响传感器退化的引擎数据进行Z值标准化；步骤1.3：对剩余使用寿命假设它是线性下降到零，对Z值标准化后的引擎数据选取一个时间节点，在这个时间之前，任何引擎的退化都是不明显的，从这里进行截断，即传感器剩余使用寿命大于该节点值的，均设置为该节点值，最终得到剩余使用寿命从该节点以后开始逐渐减少的数据；步骤1.4：将传感器的时间滞后数据添加到截断后的数据中，并将缺失历史数据的条目舍弃，数据维度由二维(n，s)变为三维(n
‑
p*(t
n
‑
1)，t
n
，s)，其中n为所有传感器总记录数，t
n
为滞后阶数，s为记录引擎工作状态的传感器数量，p为引擎数量，最终得到包含退化过程、时间滞后阶数、传感器个数的三维数据。3.根据权利要求1所述的一种基于多注意力机制的剩余使用寿命不确定性预测方法，其特征在于，基于多注意力机制的TCN网络中，使用自注意力机制对预处理后的三维数据的特征维度进行加权，得到传感器带有加权特征信息的序列数据，具体步骤为：步骤2.1：对第t时间步收集的传感器测量值x
t
＝{x
1,t
,x
2,t
,...,x
S,t
}，计算重要性权重，其计算公式如式(1)：α
t
＝(α
1,t
,
…
,α
s,t
)
ꢀꢀꢀꢀ
#(1)其中，s是传感器的编号，t是时间步，x
t
是传感器的测量值，h
w1
是训练过程中要学习的隐藏向量，α
s,t
是第s个传感器第t时间步的特征维度的权重，因此，传感器的特征维度重要
性权重向量为步骤2.2：根据重要性权重，计算第s个传感器特征维度重要性权重的平均值其计算公式如式(2)：其中，t为时间步，α
s,t
是第s个传感器第t时间步的特征维度的权重，t
n
为滞后阶数；步骤2.3：根据特征维度重要性权重平均值和传感器测量值，计算特征维度加权后的传感器数据...

【专利技术属性】
技术研发人员：田佳琦，熊佳玮，周剑，马义中，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：