基于时间卷积网络和多层自注意力的装备寿命预测方法技术

本发明专利技术公开了一种基于时间卷积网络和多层自注意力的装备寿命预测方法，包括以下步骤：采集待测装备多种监测数据，并使用滑动窗口法对数据进行分割获得原始输入样本；从每个样本中提取均值和趋势系数等统计特征，同时基于时间卷积网络(TCN)和多层自注意力(MLSA)构建深度特征提取模块从原始样本中提取深度特征；最后，构建多源特征融合模块将统计特征和深度特征融合并通过回归层预测剩余寿命。本发明专利技术克服了卷积神经网络感受野有限，容易发生梯度爆炸和梯度消失的问题，自适应对不同信息进行权重分配，增强重要信息对寿命预测的贡献，充分利用深度特征和统计特征，从而准确地预测装备剩余使用寿命，为设备维护人员提供重要参考。考。考。

【技术实现步骤摘要】
基于时间卷积网络和多层自注意力的装备寿命预测方法


[0001]本专利技术属于装备剩余寿命预测领域，特别涉及一种基于时间卷积网络(TCN，Temporal convolution network)和多层自注意力(MLSA，Multi
‑
layer self
‑
attention)的装备剩余寿命预测方法。

技术介绍

[0002]现代装备结构极其复杂，由许多组件和电子设备构成，任何组件的故障都会导致系统的灾难性故障，这凸显了系统可靠性的重要性，通过实施灵活的维护策略能够降低维护成本并提高设备可靠性，预测装备的剩余使用寿命(RUL，Remaining Useful Life)，可以提供给维修人员反应时间，维修人员可以通过减少系统停机时间和维护成本来实施措施从而避免灾难性故障。
[0003]随着计算机科学的发展，人工智能技术为寿命预测提供了新的解决思路，其中，深度学习由于其良好的自动特征提取能力，成功应用于寿命预测领域，在当前基于深度学习的RUL预测方法中，通常将不同传感器信号或从信号中提取的统计特征作为模型的输入，特征来源单一，蕴含退化信息不全面，会降低RUL预测准确性。且在网络建设过程中，他们假设不同传感器和不同时间获取的输入数据对输出的贡献相同，但在实际情况下，来自不同传感器和不同时间的监控数据包含不同程度的降级信息。如果不能识别这种差异性并突出重要的降级信息，则模型的预测性能将受到无关或冗余信息的影响，导致机器的RUL预测准确性和泛化性差。

技术实现思路

[0004]本专利技术的目的是为了解决上述问题，设计了一种基于时间卷积网络和多层自注意力的装备剩余寿命预测方法。
[0005]本专利技术的目的由以下技术方案实现，包括以下步骤：
[0006]1)数据采集：获取装备的传感器检测数据，通过计算每个传感器采集数据的方差剔除与退化无关的传感器，建立初始数据集；
[0007]2)数据预处理：对每个传感器的数据进行归一化处理，通过在时间维度上滑动窗口创建原始样本；
[0008]3)统计特征提取：计算每个原始样本中传感器的均值和趋势系数，获得统计特征；
[0009]4)深度特征提取：构建由通道注意力层、TCN和时间注意力层组成的深度特征提取模块，从原始样本中提取深度特征；
[0010]5)剩余寿命预测：构建寿命预测模块，统计特征和深度特征作为寿命预测模块输入，将剩余寿命预测值与训练集的寿命标签对比，通过Adam优化器更新寿命预测模型参数，完成模型训练。
[0011]进一步，步骤4)中深度特征提取模块的构建步骤为：
[0012]步骤4
‑
1)构建通道注意力层，对不同通道自适应分配注意力权重；
[0013]步骤4
‑
2)构建TCN模型，TCN模型的输入为通道注意力层的输出；TCN由残差块堆叠组成，每个残差块包含膨胀因果卷积层、Dropout层、批量归一化层，并采用残差连接连接残差块的输入和输出；
[0014]步骤4
‑
3)构建时间注意力层，时间注意力层的输入为TCN的输出，通过时间注意力层对不同时间步长自适应分配注意力权重；
[0015]步骤4
‑
4)构建展平层，展平层的输入为时间注意力层的输出，通过展平层将二维矩阵样本展平至一维。
[0016]进一步，步骤4
‑
1)中通道注意力层对不同通道进行权重分配的具体步骤如下：
[0017]4‑1‑
1)原始样本可以表示为x
t
表示t时刻的传感器数据，t
max
为最大时间步长，x
k，t
表示t时刻第k个传感器的数值，k
max
为传感器总数；
[0018]4‑1‑
2)首先对t时刻不同传感器数据进行打分，具体公式为：
[0019][0020]其中为打分函数，比如Sigmoid和Linear函数，W，b分别为权值矩阵和偏置向量，s
t
为t时刻不同传感器所得分数，
[0021]4‑1‑
3)得到t时刻不同传感器所得分数后，通过Softmax函数对分数s
k，t
进行归一化得到对应的注意力权重，如下公式：
[0022][0023]4‑1‑
4)取所有时刻对k
‑
th传感器分配权重的平均值，得到k
‑
th传感器对应的权重
[0024][0025]4‑1‑
5)最后，将输入数据x与权重相乘得到处理后的数据：
[0026][0027]此即为通道注意力层的输出，其中
[0028]进一步，步骤4
‑
3)中时间注意力层对不同时间步长进行权重分配的具体步骤如下：
[0029]4‑3‑
1)步骤4
‑1‑
2)中TCN的输出为时间注意力层的输入，TCN的输出可以表示为第k通道对应的数据表示为
[0030]4‑3‑
2)首先对不同时间步长数据进行打分：
[0031][0032]其中s
′
k
为第k通道不同时间步长的数据所得分数；
[0033]4‑3‑
3)然后，通过Softmax函数将得分s
′
k，t
归一化为注意力权重β
k，t
，公式如下：
[0034][0035]4‑3‑
4)取所有传感器在t时刻分配的权重的平均值，即为第t个时间步长对应的权
重：
[0036][0037]4‑3‑
5)时间注意力层的输出为：
[0038][0039]此即为传感器数据的深度特征表示，其中
[0040]进一步，步骤)中寿命预测模块的构建步骤为：
[0041]5‑
1)使用全连接层分别对深度特征和统计特征进行降维，并对降维后的两种特征进行拼接；
[0042]5‑
2)构建特征注意力层，对拼接后的特征自适应分配注意力权重；
[0043]5‑
3)构建回归预测层，回归预测层的输入为特征注意力层的输出，通过回归预测层输出RUL。
[0044]进一步，步骤5
‑
2)中特征注意力层对不同来源特征进行权重分配的具体步骤为：
[0045]5‑2‑
1)将深度特征记为D＝{d1，d2，...，d
m
}，人工特征记为H＝{h1，h2，...，h
m
}。拼接两者组成的特征记为F＝{D，H}＝{d1，d2，...，d
m
，h1，h2，...，h
m
}＝{f1，f2，...，f
n
}，其中n＝2m；
[0046]5‑2‑
2)在特征注意力层使用自注意力机制对不同来源的特征进行权重分配，计算流程如下：
[0047本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间卷积网络和多层自注意力的装备寿命预测方法，包括以下步骤：1)数据采集：获取装备的传感器检测数据，通过计算每个传感器采集数据的方差剔除与退化无关的传感器，建立初始数据集；2)数据预处理：对每个传感器的数据进行归一化处理，通过在时间维度上滑动窗口创建原始样本；3)统计特征提取：计算每个原始样本中传感器的均值和趋势系数，获得统计特征；4)深度特征提取：构建由通道注意力层、TCN和时间注意力层组成的深度特征提取模块，从原始样本中提取深度特征；5)剩余寿命预测：构建寿命预测模块，统计特征和深度特征作为寿命预测模块输入，将剩余寿命预测值与训练集的寿命标签对比，通过Adam优化器更新寿命预测模型参数，完成模型训练。2.根据权利要求1所述的方法，其特征在于，所述步骤4中，深度特征提取模块的构建，其具体步骤为：步骤4
‑
1：构建通道注意力层，对不同通道自适应分配注意力权重；步骤4
‑
2：构建TC...

【专利技术属性】
技术研发人员：尚志武，张宝仁，李万祥，高茂生，张洁，钱仕琪，刘虎，冯泽华，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：