【技术实现步骤摘要】
本专利技术涉及一种基于多模态数据融合和多尺度图注意力融合网络的轴承故障诊断方法及系统，属于深度学习与故障诊断。
技术介绍
1、轴承是传动装置必要与核心结构，由于轴承运载状态的失效所引起的常见故障包括疲劳脱落、磨损、断裂等，且此类故障较集中发生在内圈与外圈之间。轴承在长时间承受载荷过大、润滑不良以及安装不正确等情况下造成故障的机率较高，滚动轴承承受冲击能力较差、且较易出现因转速过高、腐蚀生锈等因素导致故障的发生。
2、现有立式电机的轴承因电机结构和使用方式的特点，必然使其承受由转子自重产生的轴向压力，对轴承及时进行故障诊断、制定合适的维修策略，从而有效地减小无效开支并提高维修效率就显得很有必要。通常根据监测信息及时发现异常或评价设备的健康状态，预测设备的故障趋势，实际运用于工业界智能化故障监测的算法系统开发对于运维方面的增效降本具有无比重要的现实意义。
3、现有技术通常采用单模态的振动信号以处理针对真实运转状态的非平稳性、非线性特点的故障诊断与分类，但是此类方法提取具有代表性的关键特征信息的精度较低，应用在实际场景中难以合理、真实地诊断出故障类型及其程度的量化。
4、有鉴于此，特提出本专利申请。
技术实现思路
1、本专利技术所述基于多模态和多尺度融合网络的轴承诊断方法及系统，在于解决上述现有技术存在的问题而提出基于多种模态信号的特征提取与多维信息融合和增强特征提取能力的诊断手段，从而实现全面地表征轴承退化信息、准确计算得出轴承的健康状况，从而达到诊
2、为实现上述专利技术目的，所述基于多模态和多尺度融合网络的轴承诊断方法，包括以下实施步骤：
3、步骤1、获取不同工况下、多种故障类型的多源异构信号数据集；
4、步骤2、基于多模态数据融合构建数据级特征向量矩阵；
5、步骤3、生成多尺度的cwt特征提取的灰度图像；
6、步骤4、生成多尺度stft特征提取的灰度图像；
7、步骤5、生成新的时频特征图像集image；
8、步骤6、构建vit模型；
9、步骤7、获得轴承故障类型状况的分类结果；
10、将融合后的时频特征图像集image划分为训练集和验证集，导入预设故障分类模型以得到健康或相应的故障类型状况的分类结果。
11、进一步地，所述的步骤1中，将传感器集成监测模块嵌入至轴承中，实时采集n种模态的信号；n种模态的信号包括不同故障类型状态下的多源信号，多源信号类型包括但不限于轴承的振、温、转速，电机工作状态的电压、电流、功率。
12、进一步地，所述的步骤2中，将多种模态信号进行特征提取和信息融合预处理,提取后得到每个模态信号特征向量；其中，每个特征向量包含描述不同模态信息的特征，对不同模态的特征进行拼接、求均值后，以振、温、转速为主序列按模态维度进行数据级融合并构建特征向量矩阵。
13、进一步地，所述的步骤3中，将数据级融合特征向量矩阵通过选择不同的小波函数或尺度参数以获得不同频率范围或时间尺度下的特征并计算每个尺度下的特征，生成多尺度的cwt特征提取的灰度图像。
14、进一步地，所述的步骤4中，将数据级融合特征向量矩阵a1进行多尺度stft特征提取，计算相应的频谱能量或其他统计特征以生成多尺度stft特征提取的灰度图像；
15、stft基本运算公式如下：
16、
17、式中，x(t)为时域信号，h(t-ω)为窗函数。
18、进一步地，所述的步骤5中，对不同尺度下提取的特征向量灰度图进行加权融合，根据不同尺度的重要性赋予不同的权重；将上述图像进行拼接形成更长的特征向量再归一化，以生成新的时频特征图像集image；
19、对stft的灰度图和小波变换图的特征进行多尺度融合；首先对每个特征提取不同尺度的特征表示，然后对不同尺度的特征进行图像拼接融合，最后叠加在一起形成多通道的图像并构成融合两者特征灰度图像数据集。
20、进一步地，所述的步骤6中，vit模型包括输入层、多尺度图像块划分、图像块嵌入层、位置编码层、transformer编码器层、自适应池化层、mlp层和输出层；
21、构建基于多尺度图注意力融合网络架构的故障分类vit模型包括以下步骤：
22、s601.输入数据预处理；
23、针对输入的图结构数据，使用不同图嵌入尺寸进行嵌入操作，得到多个不同尺寸的局部特征表示；每个尺寸的图嵌入形式关注不同的图结构局部特征；每个图像补丁映射到一个低维的特征向量空间中。这个嵌入层将每个图像补丁的像素信息转换为一个固定长度的向量表示。嵌入层通常是个全连接层，其中参数是可学习的。
24、s602.将预处理后的图像输入数据通过嵌入层(如图6)映射到低维的特征向量嵌入空间；
25、对于图像数据，使用不同尺寸图像块映射尺寸(16*16/12*12/8*8)提取局部特征，将每个图像块映射到嵌入特征空间展平为向量；
26、图嵌入映射计算公式如下：
27、
28、其中，kiu-i,v-j分别表示不同尺寸和不同空间位置的图嵌入，zi表示不同尺寸嵌入操作提取到的图局部特征；
29、s603.位置编码；
30、引入位置信息，使用正余弦编码的位置编码形式对不同图嵌入的输入向量进行加权平均；在自注意力机制中引入序列信息，以便模型能够感知输入序列中不同位置的相对位置关系；
31、s604.搭建多层transformer编码器；
32、s605.损失函数和优化算法；
33、对处理后的结果使用交叉熵损失函数进行损失计算，选择adam优化算法，根据梯度更新网络的参数。
34、进一步地，所述的步骤7中，对于上述步骤5中获得的不同类型数据集按照4：1的比例划分为训练集、验证集，首先将两种不同预处理后构建的数据训练集中分别输入在步骤6中建立的基于多尺度图注意力融合网络架构中,然后通过反向传播算法对故障检测模型中的各权重值进行训练；利用验证集来判断轴承缺陷检测模型的训练效果,以得到训练完整的机械缺陷检测模型；最后用测试集的数据用于检验模型的可靠性；
35、采集待检测的基于多尺度图注意力融合网络架构,重复步骤1中的预处理过程并将其输入到训练完毕的轴承缺陷多通道数据检测模型中，以检测轴承工作时的缺陷情况；所述的缺陷情况，是由两次特征提取网络输出的、表征机械缺陷情况的、决策性融合的、模糊综合评价理论结果进行标签。
36、基于上述轴承诊断方法，本申请同时提出一种基于多模态和多尺度融合网络的轴承诊断系统，该系统包括原始信号获取模块、多源数据处理模块﹑多尺度特征融合模块、多尺度特征提取模块、诊断分类模块。其中，
37、原始信号获取模块，用于获取滚动轴承n本文档来自技高网...
【技术保护点】
1.一种基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：包括以下实施步骤，
2.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤1中，将传感器集成监测模块嵌入至轴承中，实时采集N种模态的信号；N种模态的信号包括不同故障类型状态下的多源信号，多源信号类型包括但不限于轴承的振、温、转速，电机工作状态的电压、电流、功率。
3.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤2中，将多种模态信号进行特征提取和信息融合预处理,提取后得到每个模态信号特征向量；其中，每个特征向量包含描述不同模态信息的特征，对不同模态的特征进行拼接、求均值后，以振、温、转速为主序列按模态维度进行数据级融合并构建特征向量矩阵。
4.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤3中，将数据级融合特征向量矩阵通过选择不同的小波函数或尺度参数以获得不同频率范围或时间尺度下的特征并计算每个尺度下的特征，生成多尺度的CWT特征提取的灰度图像。
5.根据权利要求
6.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤5中，对不同尺度下提取的特征向量灰度图进行加权融合，根据不同尺度的重要性赋予不同的权重；将上述图像进行拼接形成更长的特征向量再归一化，以生成新的时频特征图像集Image；
7.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤6中，VIT模型包括输入层、多尺度图像块划分、图像块嵌入层、位置编码层、Transformer编码器层、自适应池化层、MLP层和输出层；
8.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤7中，对于上述步骤5中获得的不同类型数据集按照4：1的比例划分为训练集、验证集，首先将两种不同预处理后构建的数据训练集中分别输入在步骤6中建立的基于多尺度图注意力融合网络架构中,然后通过反向传播算法对故障检测模型中的各权重值进行训练；利用验证集来判断轴承缺陷检测模型的训练效果,以得到训练完整的机械缺陷检测模型；最后用测试集的数据用于检验模型的可靠性；
9.如权利要求1至8任一所述基于多模态和多尺度融合网络的轴承诊断方法的轴承诊断系统，其特征在于：包括原始信号获取模块、多源数据处理模块﹑多尺度特征融合模块、多尺度特征提取模块、诊断分类模块；
10.应用如权利要求9所述基于多模态和多尺度融合网络的轴承诊断系统的上位机工控设备，其特征在于：包括处理器和存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行；
...【技术特征摘要】
1.一种基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：包括以下实施步骤，
2.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤1中，将传感器集成监测模块嵌入至轴承中，实时采集n种模态的信号；n种模态的信号包括不同故障类型状态下的多源信号，多源信号类型包括但不限于轴承的振、温、转速，电机工作状态的电压、电流、功率。
3.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤2中，将多种模态信号进行特征提取和信息融合预处理,提取后得到每个模态信号特征向量；其中，每个特征向量包含描述不同模态信息的特征，对不同模态的特征进行拼接、求均值后，以振、温、转速为主序列按模态维度进行数据级融合并构建特征向量矩阵。
4.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤3中，将数据级融合特征向量矩阵通过选择不同的小波函数或尺度参数以获得不同频率范围或时间尺度下的特征并计算每个尺度下的特征，生成多尺度的cwt特征提取的灰度图像。
5.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于：所述的步骤4中，将数据级融合特征向量矩阵a1进行多尺度stft特征提取，计算相应的频谱能量或其他统计特征以生成多尺度stft特征提取的灰度图像；
6.根据权利要求1所述的基于多模态和多尺度融合网络的轴承诊断方法，其特征在于...
【专利技术属性】
技术研发人员：张千里，李心建，孙硕，刘贵杰，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。