基于分层联邦学习的故障诊断方法及系统技术方案

本发明专利技术提供的基于分层联邦学习的故障诊断方法及系统，涉及故障检测领域；其方法将客户端本地模型分层为用于提取客户端数据之间的共有特征的特征提取器模型、用于提取客户端数据的私有特征的特征分类器模型和用于将提取到的共有特征还原为原始数据的特征重构器模型，训练过程仅在客户端和服务器端联合训练特征提取器模型参数，特征分类器模型和特征重构器模型在客户端本地训练；训练好的特征提取器模型与客户端私有的特征分类器模型组成客户端的本地预测模型进行预测；本发明专利技术可以解决由于客户端数据异构导致模型预测精度不高的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
基于分层联邦学习的故障诊断方法及系统


[0001]本专利技术涉及故障检测
，具体涉及一种基于分层联邦学习的故障诊断方法及系统。

技术介绍

[0002]在设备故障诊断领域，传统的数据驱动的机器学习方法能够分辨出不同类别的设备故障类型，并且展现出极佳的辨别性能。然而大部分的机器学习的方法依赖大量高质量的训练数据，即大量的设备故障样本数据。在现实的工业场景下，单个的企业很难获得充裕的故障类型数据。直观的想法便是多个企业联合进行中心化学习，但是由于企业设备的运行数据某种程度上反应了企业的生产能力等隐私数据，而且将所有的设备运行数据上传到中心服务器会导致大量的通信开销，因此隐私保护和通信代价越来越引起人们的关注，也成为了各个企业参与联合学习的一个驱动因素。联邦学习是一种特殊的分布式机器学习方法，能够让各个企业隐私数据不离开本地存储中心，是一种企业(客户端)和中心服务器彼此之间只通信模型参数的机器学习方法，而且模型参数可以利用压缩机制、安全多方计算、差分隐私等技术进行保护，在很大程度上保护了用户的隐私安全。
[0003]联邦学习框架越来越成为不同企业联合学习的框架，理论上，传统的联邦学习的工作流程如下:(1)中心服务器与每个客户端共享初始模型；(2)每个客户端在其本地数据上训练模型，并将训练后的权重发送回中心服务器；(3)中心服务器使用来自每个客户端的权重更新其全局模型；(4)该过程不断重复，直到联邦学习的全局模型收敛；(5)将训练好的全局模型发送给每个客户端；(6)每个客户端使用全局模型作为启动模型，可用于传入数据的故障诊断。
[0004]虽然联邦学习框架给不同企业联合进行设备故障诊断提供了思路，但是在联邦学习的框架下，将面临一个很大的问题——数据异构。在中心化学习阶段，各个客户端上传自己本地的数据集到中心服务器，各个客户端数据组成了同一个训练集，而在联邦学习阶段各个客户端不上传自己本地的数据集，而使用本地数据集去进行模型训练，很自然的各个客户端的本地数据集会因为客户端所处的环境不同而产生异构现象。这种数据异构现象会影响客户端模型的表现，然而目前大部分方法并没有将联邦学习框架下的数据异构问题纳入考虑。
[0005]专利CN114662618B公开的基于联邦学习的故障诊断方法和专利CN111537945B公开的基于联邦学习的智能电表故障诊断方法在进行联邦学习的过程中均没有考虑到数据非独立同分布的问题，由于不同的企业数据存在非独立同分布的现象，这会影响模型分类的精度。因此，当前需要一种在数据异构条件下的基于联邦学习的故障诊断方法，来提高客户端数据异构情况下的故障预测精度。

技术实现思路

[0006]本专利技术目的在于提供一种基于分层联邦学习的故障诊断方法及系统，其方法可以
有效解决客户端数据异构条件下进行联邦设备故障诊断预测精度不高的技术问题，为后续的个性化联邦学习研究以及相关工程应用提供新的思路，将联邦学习应用到更多实际场景中。
[0007]为达成上述目的，本专利技术提出如下技术方案：一种基于分层联邦学习的故障诊断方法，应用于客户端，包括：
[0008]对任一客户端，分层搭建客户端的本地模型；所述本地模型包括特征提取器模型、特征分类器模型和特征重构器模型三部分，并且所述特征提取器模型和特征分类器模型组合构成客户端分类模型、所述特征提取器模型和特征重构器模型组合构成客户端重构模型；
[0009]对任一客户端，接收服务器端广播的全局特征提取器模型参数和客户端更新轮次；
[0010]根据客户端的本地数据及其接收的全局特征提取器模型参数、客户端更新轮次，训练对应的客户端分类模型和客户端重构模型；
[0011]上传各客户端本地模型训练更新的特征提取器模型参数至服务器端，以便服务器端进行权重聚合，获得更新后的全局特征提取器模型参数并广播；
[0012]重复执行客户端本地训练更新过程，直至所有客户端内特征提取器模型收敛或者达到服务器端预设的全局特征提取器模型精度；
[0013]以各客户端对应训练完成的客户端分类模型作为其本地预测模型，进行传入数据的故障诊断。
[0014]进一步的，所述客户端分类模型和客户端重构模型本地更新训练时，采用分类损失优化客户端分类模型、采用重构损失优化客户端重构模型，使得所述客户端的特征提取器实现两次优化。
[0015]进一步的，设定一联邦学习系统，其网络节点中存在K个客户端，每个客户端都具有其对应的数据集其中，N
k
表示该数据集拥有的数据量；所述K个客户端共同训练一深度学习模型，并且不同的客户端之间的数据集是异构的；即，对于任意的i≠j，存在关系
[0016]定义客户端的故障分类任务包含M类，对于故障分类任务采用交叉熵损失，对于重构任务采用均方误差损失；
[0017]则对于客户端k，其分类损失和重构损失依次为：
[0018][0019]其中，表示判断类别y
i
是否与类别m相同，相同则为1、不同则为0；p
m
表示softmax函数预测为第m类的概率；
[0020][0021]其中，表示经过重构后的原始数据。
[0022]进一步的，定义客户端k在第t轮更新时，特征提取器模型的模型参数为特征分类器模型的模型参数为特征重构器模型的模型参数为对应的各模型更新公式如下：
[0023][0024][0025][0026]其中，η
F
，η
C
和η
R
分别表示特征提取器模型、特征分类器模型和特征重构器模型各自在优化时的学习率。
[0027]本专利技术还提供一种基于分层联邦学习的故障诊断方法，应用于服务器端，包括：
[0028]初始化全局特征提取器模型参数，广播初始化的全局特征提取器模型参数和客户端更新轮次；
[0029]接收各客户端上传的其本地模型根据本地数据训练更新的特征提取器模型参数，其中，各客户端的本地模型均包括分层搭建的特征提取器模型、特征分类器模型和特征重构器模型三部分，并且特征提取器模型和特征分类器模型组合构成客户端分类模型、特征提取器模型和特征重构器模型组合构成客户端重构模型；
[0030]采用联邦平均算法对各客户端更新上传的特征提取器模型参数进行权重聚合，更新并广播全局特征提取器模型参数，以便各客户端根据更新的全局特征提取器模型参数重复执行本地模型训练更新过程，直至所有客户端内特征提取器模型收敛或者达到服务器端预设的全局特征提取器模型精度；进而，使各客户端采用其对应训练完成的客户端分类模型进行传入数据的故障诊断。
[0031]本专利技术另一技术方案在于提供一种基于分层联邦学习的故障诊断系统，该系统包括：
[0032]搭建模块，用于对任一客户端，分层搭建客户端的本地模型；所述本地模型包括特征提取器模型、特征分类器模型和特征重构器模型三部分，并且所述特征提取器模型和特征分类器模型组合构成客户端分类模型、所述特征提取器模型和特征重构器模型组合构成客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分层联邦学习的故障诊断方法，其特征在于，应用于客户端，包括：对任一客户端，分层搭建客户端的本地模型；所述本地模型包括特征提取器模型、特征分类器模型和特征重构器模型三部分，并且所述特征提取器模型和特征分类器模型组合构成客户端分类模型、所述特征提取器模型和特征重构器模型组合构成客户端重构模型；对任一客户端，接收服务器端广播的全局特征提取器模型参数和客户端更新轮次；根据客户端的本地数据及其接收的全局特征提取器模型参数、客户端更新轮次，训练对应的客户端分类模型和客户端重构模型；上传各客户端本地模型训练更新的特征提取器模型参数至服务器端，以便服务器端进行权重聚合，获得更新后的全局特征提取器模型参数并广播；重复执行客户端本地训练更新过程，直至所有客户端内特征提取器模型收敛或者达到服务器端预设的全局特征提取器模型精度；以各客户端对应训练完成的客户端分类模型作为其本地预测模型，进行传入数据的故障诊断。2.根据权利要求1所述的基于分层联邦学习的故障诊断方法，其特征在于，所述客户端分类模型和客户端重构模型本地更新训练时，采用分类损失优化客户端分类模型、采用重构损失优化客户端重构模型，使得所述客户端的特征提取器实现两次优化。3.根据权利要求2所述的基于分层联邦学习的故障诊断方法，其特征在于，设定一联邦学习系统，其网络节点中存在K个客户端，每个客户端都具有其对应的数据集其中，N
k
表示该数据集拥有的数据量；所述K个客户端共同训练一深度学习模型，并且不同的客户端之间的数据集是异构的；即，对于任意的i≠j，存在关系定义客户端的故障分类任务包含M类，对于故障分类任务采用交叉熵损失，对于重构任务采用均方误差损失；则对于客户端k，其分类损失和重构损失依次为：其中，表示判断类别y
i
是否与类别m相同，相同则为1、不同则为0；p
m
表示softmax函数预测为第m类的概率；其中，表示经过重构后的原始数据。4.根据权利要求3所述的基于分层联邦学习的故障诊断方法，其特征在于，定义客户端k在第t轮更新时，特征提取器模型的模型参数为特征分类器模型的模型参数为特征重构器模型的模型参数为对应的各模型更新公式如下：
其中，η
F
，η
C
和η
R
分别表示特征提取器模型、特征分类器模型和特征重构器模型各自在优化时的学习率。5.一种基于分层联邦学习的故障诊断方法，其特征在于，应用于服务器端，包括：初始化全局特征提取器模型参数，广播初始化的全局特征提取器模型参数和客户端更新轮次；接收各客户端上传的其本地模型根据本地数据训练更新的特征提取器模型参数，其中，各客户端的本地模型均包括分层搭建的特征提取器模型、特征分类器模型和特征重构器模型三部分，并且特征提取器模型和特征分类器模型组合构成客户端分类模型、特征提取器模型和特征重构器模型组合构成客户端重构模型；采用联邦平均算法对各客户端更新上传的特征提取器模型参数进行权重聚合，更新并广播全局特征提取器模型参数，以便各客户端根据更新的全局特征提取器模型参数重复执行本地模型训练更新过程，直至所有客户端内特征提取器...

【专利技术属性】
技术研发人员：邓东上，吴宣够，张卫东，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：