【技术实现步骤摘要】
本专利技术提供了一种基于多模态特征交叉融合的滚动轴承故障诊断方法，属于滚动轴承故障诊断。
技术介绍
1、目前在旋转机械设备中，滚动轴承是易损部件，对轴承的故障诊断是目前研究的热点。在传统的轴承故障诊断中，对采集到的振动信号使用小波变换、经验模态分解等信号处理技术，获取故障信号特征，但这些方法只是对信号进行了处理，并未得到确切的故障诊断结果。
2、而深度学习虽然在故障诊断领域取得了较大的成功，但对于轴承诊断方面仍存在一些不足，对于深度学来说，网络结构越深，意味着能够提取到的特征就越多，但同时带来的训练参数也越多，训练时会存在梯度爆炸和消失的问题，同时无法对存在噪声的信号进行精确诊断。
技术实现思路
1、本专利技术为了解决现有的滚动轴承故障诊断存在的准确性低、训练难度大等问题，提出了一种基于多模态特征交叉融合的滚动轴承故障诊断方法。
2、为了解决上述技术问题，本专利技术采用的技术方案为：一种基于多模态特征交叉融合的滚动轴承故障诊断方法，包括如下步骤：
3、步骤s1：构建多模态数据：获取滚动轴承的振动信号，将振动信号转换为图数据，通过振动信号的序列数据和图数据构造了多模态数据，对数据进行预处理后划分为训练集、验证集预测试集；
4、步骤s2：搭建多模态特征交叉融合网络模型，其中多模态特征交叉融合网络模型包括特征提取模块、共有特征信息交叉融合模块与特征分类模块，所述特征提取模块包括改进的longformer模型和改进的slide transfo
5、步骤s3：将步骤s1中的训练集、验证集输入步骤s2的网络模型中进行训练，根据情况对网络参数进行微调以达到目标精度，得到最优网络模型并保存模型参数文件；
6、步骤s4：加载步骤s3中得到的最优网络模型进行故障诊断分类测试，从而确定模型分析出的滚动轴承故障类型。
7、步骤s1中采用振动传感器采集滚动轴承的振动数据，进行预处理，再进行短时傅里叶变换生成时频数据，同时采用伪彩色处理技术生成伪彩色图像。
8、步骤s2中改进的longformer模型和改进的slide transformer模型均使用12个transformer变体模块，均使用overlapping机制来获取上下文信息，均在模型最终输出使用归一化使两模型输出特征的分布近似，且改进的slide transformer模型在进行归一化之前需要先经过线性层将输出特征的维度与longformer模块输出特征的维度相统一。
9、改进的longformer模型通过采用重叠机制overlapping来处理长序列，且改进的longformer模型采用融合了全局信息的滑动窗口多头自注意力机制处理编码器输出的特征，其特征提取过程为：
10、f′l-1＝gsw-mhsa(ln(fl-1))+fl-1；
11、fim＝mlp(ln(f′l-1))+f′l-1；
12、f′im＝sw-mhsa(ln(fim))+fim；
13、fl＝mlp(ln(f′im))+f′im；
14、式中，gsw-mhsa、sw-mhsa分别表示融合了全局信息的滑动窗口多头自注意力机制和滑动窗口多头自注意力机制，ln(·)表示归一化操作，mlp(·)表示多层感知机，fl-1、fim、fl表示经过多层感知机的输出特征图，f′l-1、f′im分别表示经过gsw-mhsa模块和sw-mhsa模块的特征图。
15、和改进的slide transformer模型采用基于depthwise convolution的滑动窗口多头自注意力机制来处理故障诊断振动数据，使用深度可分离卷积代替标准卷积操作，通过在特征图padding后获取特征图不同移位方向的特征窗口，再与特征图进行卷积操作，其特征提取过程为：
16、f′s-1＝dcsw-mhsa(ln(fs-1))+fs-1；
17、fims＝mlp(ln(f′s-1))+f′s-1；
18、f′ims＝dcsw-mhsa(ln(fims))+fims；
19、fs＝mlp(ln(f′ims))+f′ims；
20、式中，dcsw-mhsa表示基于depthwise convolution的滑动窗口多头自注意力机制，ln(·)表示归一化操作，mlp(·)表示多层感知机，fs-1、fims、fs表示经过多层感知机的输出特征图，f′s-1、f′ims表示经过dcsw-mhsa模块的特征图。
21、改进的longformer模型和slide transformer模型的解码器输出层计算损失时均添加了弹性网正则化来压缩参数，改进后的损失函数的表达式为：
22、
23、式中，y是真实的标签，是模型的预测，w是模型的权重，λ是正则化系数，ρ是混合参数，||w||1是l1范数，是l2范数，当混合参数ρ为0时，弹性网正则化等同于l2范数正则化；ρ为1时，等同于l1范数正则化。
24、所述共有特征信息交叉融合模块利用特征间交叉注意力挖掘共有特征信息，利用共有特征构造多模态融合分类特征，其处理过程为：
25、
26、
27、
28、式中，softmax(·)表示激活函数，flatt、fsatt分别表示全局与局部注意力特征，和分别由全局特征fl和局部特征fs生成，dl、ds分别表示全局与局部的特征维度，wk、wq、wv表示可学习参数，d表示学习参数w的特征维度。
29、所述特征分类模块由全连接层和softmax函数组成，以实现滚动轴承的故障分类。
30、本专利技术相对于现有技术具备的有益效果为：相比传统时频分析方法(如小波分析等)，本专利技术通过构建多模态数据，设计并搭建多模态特征交叉融合模型，利用改进的longformer模型在序列数据上提取全局特征，利用改进的slide transformer模型提取图数据的局部特征，将全局与局部特征的维度和分布统一之后，利用交叉注意力挖掘特征间的共有特征信息，并构造多模态融合分类特征进行特征分类。与此同时，本专利技术在两个模型中都加入弹性网正则化以抑制过拟合，并且利用l1范数正则化达到参数压缩的目的，利用l2范数正则化达到模型平滑与稳定的效果，模型的泛化能力得到极大增强。
本文档来自技高网...【技术保护点】
1.一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：步骤S1中采用振动传感器采集滚动轴承的振动数据，进行预处理，再进行短时傅里叶变换生成时频数据，同时采用伪彩色处理技术生成伪彩色图像。
3.根据权利要求2所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：步骤S2中改进的Longformer模型和改进的Slide transformer模型均使用12个transformer变体模块，均使用overlapping机制来获取上下文信息，均在模型最终输出使用归一化使两模型输出特征的分布近似，且改进的Slide transformer模型在进行归一化之前需要先经过线性层将输出特征的维度与Longformer模块输出特征的维度相统一。
4.根据权利要求3所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：改进的Longformer模型通过采用重叠机制overlapping来处理长序列，且改进的Longform
5.根据权利要求3所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：和改进的Slide transformer模型采用基于depthwise convolution的滑动窗口多头自注意力机制来处理故障诊断振动数据，使用深度可分离卷积代替标准卷积操作，通过在特征图padding后获取特征图不同移位方向的特征窗口，再与特征图进行卷积操作，其特征提取过程为：
6.根据权利要求4或5所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：改进的Longformer模型和Slide transformer模型的解码器输出层计算损失时均添加了弹性网正则化来压缩参数，改进后的损失函数的表达式为：
7.根据权利要求6所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：所述共有特征信息交叉融合模块利用特征间交叉注意力挖掘共有特征信息，利用共有特征构造多模态融合分类特征，其处理过程为：
8.根据权利要求6所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：所述特征分类模块由全连接层和Softmax函数组成，以实现滚动轴承的故障分类。
...【技术特征摘要】
1.一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：步骤s1中采用振动传感器采集滚动轴承的振动数据，进行预处理，再进行短时傅里叶变换生成时频数据，同时采用伪彩色处理技术生成伪彩色图像。
3.根据权利要求2所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：步骤s2中改进的longformer模型和改进的slide transformer模型均使用12个transformer变体模块，均使用overlapping机制来获取上下文信息，均在模型最终输出使用归一化使两模型输出特征的分布近似，且改进的slide transformer模型在进行归一化之前需要先经过线性层将输出特征的维度与longformer模块输出特征的维度相统一。
4.根据权利要求3所述的一种基于多模态特征交叉融合的滚动轴承故障诊断方法，其特征在于：改进的longformer模型通过采用重叠机制overlapping来处理长序列，且改进的longformer模型采用融合了全局信息的滑动窗口多头自注意力机制处理编码器输出的...
【专利技术属性】
技术研发人员：高佳锋，李晓方，魏佳鑫，王强，赵文静，王磊，
申请(专利权)人：山西阳光三极科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。