【技术实现步骤摘要】
本专利技术涉及剩余寿命预测，更具体地，涉及一种基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法。
技术介绍
1、随着铁路提速和重载运输的发展，我国钢轨病害发展迅速，出现的失效问题也越来越多。作为列车运行的直接载体，钢轨是在交变应力条件下工作的。钢轨的维护周期和使用寿命直接影响着铁路线路的运营状况，所以准确地预测钢轨的剩余寿命，制定钢轨探伤周期，对保证线路安全营运的情况下延长钢轨的剩余使用寿命具有十分重要的意义。
2、近年来，深度学习在数据驱动的rul预测中越来越受欢迎。深度学习与传统的机器学习技术相比，深度学习具有更强大的表示学习能力，能够从原始数据中自动学习多级表示。因此，在深度学习技术的帮助下，可以直接基于原始传感器数据建立预测模型，从而摆脱了人工特征提取的复杂过程。
3、transformer模型既可以进行并行处理提高计算效率，又可以有效处理时序数据随时间变化的长期依赖关系，已在自然语言处理、计算机视觉等多个领域取得优异效果。最近，现有技术公开了将transformer模型应用到rul预测问题上，如在cn202111631338.3一种基于pr-trans的机械设备剩余寿命预测方法公开采用改进transformer的自注意力机制，能减少计算量及空间占有率、增强位置之间关系、减小模型大小、通过增大模型感受野增强模型学习能力，使模型推理速度更快、预测更精确。然而，transformer模型参数量较大，计算消耗gpu较大，如果训练样本不足，很容易造成过拟合。此外，钢轨ru
技术实现思路
1、本专利技术要解决的主要技术问题是针对现有多传感器的多通道数据存在耦合关系难以建模，传统神经网络在处理钢轨伤损长时间序列建模中难以捕获时间序列中的长期依赖关系的问题，提供一种基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法。
2、本专利技术的目的通过以下技术方案予以实现：
3、一种基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法，步骤包括：
4、s1.采集数据并对数据进行预处理，得到时间序列特征信号；
5、s2.构建多层脉冲可分离卷积编码模型，先将时间序列特征信号经深度可分离卷积层提取特征，然后将该特征信号输入至脉冲神经元编码层转换为脉冲特征信号；
6、s3.将脉冲特征信号经高效注意力机制来对脉冲特征图进行重新标定，并采用脉冲最大池化得到输出脉冲特征；
7、s4.将输出脉冲特征经transformer encoder算法、脉冲最大池化和线性全连接，最终输出剩余寿命的预测值。
8、进一步地，s1中预处理包括对多通道数据进行堆叠、尺寸裁剪和归一化操作。
9、进一步地，s2中深度可分离卷积层提取特征步骤包括：将时间序列特征信号分别通过逐通道卷积和逐点卷积，然后进行通道合并和归一化处理得到特征信号。
10、进一步地，s2中脉冲神经元编码层转换为脉冲信号的步骤包括：将特征信号输入神经元模型，若膜电位电压超过设定的阈值电压，脉冲神经元则在发放一次脉冲后再回到静息电位，若未达到阈值电压，则进行膜电位进行电压积累，等待下一个时间窗口的输入。
11、进一步地，未激活状态时其膜电位电压为：
12、
13、t时刻的膜电位电压为：
14、v(t)＝v(t-1)+i(t)
15、其中，v(t)为t时刻膜电位电压，i(t)为当前时刻输入，c为膜电容。
16、进一步地，膜电位电压达到阈值电压时才被激活发射脉冲，反之则不发送脉冲，表示为：
17、
18、其中vth为阈值电压。
19、进一步地，神经元模型在反向传播更新模型参数时引入relu函数、sigmoid函数、piecewiseleakyrelu函数的的一种。
20、进一步地，s3中eca注意力机制处理步骤包括：
21、s31.脉冲特征经全局平均池化，将其由[h*w*c]的矩阵转变为[1*1*c]的向量；
22、s32.根据通道数计算得到自适应的一维卷积核大小k，表示为：
23、
24、式中，(|t|odd表示最近的奇数)，c为通道维度，γ和b为可调参数；
25、s33.将k用于一维卷积中，得到对于特征图的每个通道的权重；
26、s34.将归一化权重和原输入特征逐通道相乘，生成加权后的特征图。
27、进一步地，s4中transformer encoder算法包括多头自注意力层和前馈全连接层，所述多头自注意力层和前馈全连接层应用残差连接以及标准归一化。
28、进一步地，所述多头自注意力层处理步骤包括：将上一层的输出脉冲特征输出矩阵x分别与3个权重矩阵wq、wk和wv相乘后得到对应查询向量q、键向量k和内容向量v，通过计算q和k的点积获得关联矩阵，经过softmax函数激活后得到每个位置对应的权重，最后再将此权重叠加到v得到自注意力输出a，表示为：
29、
30、其中是键向量维度的平方根。
31、与现有技术相比，有益效果是：
32、本专利技术通过改进脉冲可分离卷积网络的编码模块，对数据间的相互关系进行有效建模，利用替代梯度反向传播算法，对网络进行改进，并引入eca高效通道注意力机制进一步突出有效的脉冲特征。其次，设计改进transformer encoder作为模型的主干，高效并行的学习全生命周期长时间序列每个时间步上数据自身和相互之间的依赖关系，融入脉冲最大池化进行改进，保留更多的脉冲时序特征。最后，基于前层特征给出最终的rul预测值，完成端到端的解决方案。
本文档来自技高网...【技术保护点】
1.一种基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，步骤包括：
2.根据权利要求1所述基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，S1中预处理包括对多通道数据进行堆叠、尺寸裁剪和归一化操作。
3.根据权利要求1所述基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，S2中深度可分离卷积层提取特征步骤包括：将时间序列特征信号分别通过逐通道卷积和逐点卷积，然后进行通道合并和归一化处理得到特征信号。
4.根据权利要求1所述基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，S2中脉冲神经元编码层转换为脉冲信号的步骤包括：将特征信号输入神经元模型，若膜电位电压超过设定的阈值电压，脉冲神经元则在发放一次脉冲后再回到静息电位，若未达到阈值电压，则进行膜电位进行电压积累，等待下一个时间窗口的输入。
5.根据权利要求4所述基于改进脉冲可分离卷积增强Transf
6.根据权利要求4所述基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，膜电位电压达到阈值电压时才被激活发射脉冲，反之则不发送脉冲，表示为：
7.根据权利要求4所述基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，神经元模型在反向传播更新模型参数时引入relu函数、Sigmoid函数、PiecewiseLeakyRelu函数3种激活函数任意一种。
8.根据权利要求1所述基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，S3中ECA注意力机制处理步骤包括：
9.根据权利要求1所述基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，S4中Transformer encoder算法包括多头自注意力层和前馈全连接层，所述多头自注意力层和前馈全连接层应用残差连接以及标准归一化。
10.根据权利要求9所述基于改进脉冲可分离卷积增强Transformer encoder的剩余寿命预测方法，其特征在于，所述多头自注意力层处理步骤包括：将上一层的输出脉冲特征输出矩阵X分别与3个权重矩阵WQ、WK和WV相乘后得到对应查询向量Q、键向量K和内容向量V，通过计算Q和K的点积获得关联矩阵，经过Softmax函数激活后得到每个位置对应的权重，最后再将此权重叠加到V得到自注意力输出A，表示为：
...【技术特征摘要】
1.一种基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法，其特征在于，步骤包括：
2.根据权利要求1所述基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法，其特征在于，s1中预处理包括对多通道数据进行堆叠、尺寸裁剪和归一化操作。
3.根据权利要求1所述基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法，其特征在于，s2中深度可分离卷积层提取特征步骤包括：将时间序列特征信号分别通过逐通道卷积和逐点卷积，然后进行通道合并和归一化处理得到特征信号。
4.根据权利要求1所述基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法，其特征在于，s2中脉冲神经元编码层转换为脉冲信号的步骤包括：将特征信号输入神经元模型，若膜电位电压超过设定的阈值电压，脉冲神经元则在发放一次脉冲后再回到静息电位，若未达到阈值电压，则进行膜电位进行电压积累，等待下一个时间窗口的输入。
5.根据权利要求4所述基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法，其特征在于，未激活状态时其膜电位电压为：
6.根据权利要求4所述基于改进脉冲可分离卷积增强transformer encoder的剩余寿命预测方法，其...
【专利技术属性】
技术研发人员：王忠美，李敏，何静，张昌凡，刘建华，刘群欣，杨卫峰，王文昆，张东方，
申请(专利权)人：湖南工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。