一种基于联邦学习的工业互联网云边模型聚合方法技术

本发明专利技术涉及一种基于联邦学习的工业互联网云边模型聚合方法，属于隐私保护的技术领域。本发明专利技术基于联邦学习的工业互联网云边模型聚合方法，联邦学习模型包括云端服务器模型和多个边缘端服务器模型，具体包括以下步骤：步骤1、基于当前云端服务器模型参数更新每个边缘端服务器模型参数；步骤2、对每个边缘端模型更新后模型参数进行筛选，云端服务器模型筛选出满足条件的聚合边缘端模型；步骤3、基于聚合边缘端模型更新云端服务器模型参数；步骤4、基于更新后的云端服务器模型参数进行下一次云端服务器模型的更新直至云端服务器模型的最大更新次数获得全局模型。该方法在训练过程中对客户端节点进行筛选，提高了模型的稳定性。提高了模型的稳定性。提高了模型的稳定性。

【技术实现步骤摘要】
一种基于联邦学习的工业互联网云边模型聚合方法


[0001]本专利技术属于隐私保护的
，尤其涉及一种基于联邦学习的工业互联网云边模型聚合方法。

技术介绍

[0002]工业互联网逐渐应用于协同生产、高档机床、工业供应链等领域，在工业生产中发挥越来越重要的作用。工业互联网一般分为三层架构：云端、边缘端和设备端。云端是指中心节点，一般由远程的服务器进行承担。边缘端是指靠近工业设备或者数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近段服务。设备端是指实际的工业现场所存在的一些设备，包括：工业机床、工业机器人等。
[0003]联邦学习是一种分布式机器学习框架，其做到了在保障数据隐私安全及合法合规的基础上，实现数据共享，共同建模。联邦学习不仅可以应用于智能移动设备，在工业领域也逐渐开始展开应用，通过边缘端和云端的协同来实现模型的训练（如故障诊断模型等），同时，由于在模型训练的过程中仅仅上传模型参数而不会上传原始数据，因此也将大大增加对用户隐私的保护。现有技术中对基于联邦学习的模型进行了研发，如中国专利申请CN1147422379B、CN113935469B和CN112101579B。

技术实现思路

[0004]鉴于上述分析，本专利技术提供了一种基于联邦学习的工业互联网云边模型聚合方法，该方法在训练过程中对设备端节点进行筛选，提高了模型的稳定性和聚合效率，并且采用聚合时将云端服务器模型和边缘端服务器模型进行相似性度量对比，避免了与全局模型差别较大的局部模型参与到全局模型的聚合过程，提高了使用全局模型对的设备端异常检测的精度。
[0005]本专利技术提供的一种基于联邦学习的工业互联网云边模型聚合方法，联邦学习模型包括云端服务器模型和多个边缘端服务器模型，多个边缘端服务器模型与工业系统的多个设备端通信连接，具体包括以下步骤：步骤1、基于当前云端服务器模型参数更新每个边缘端服务器模型参数；步骤2、对每个边缘端服务器模型进行筛选，筛选出满足当前云端服务器模型参数与更新后的边缘端服务器模型参数的权重相似性度条件的边缘端服务器模型作为聚合边缘端服务器；步骤3、基于聚合边缘端服务器模型更新云端服务器模型参数；步骤4、基于更新后的云端服务器模型参数进行下一次云端服务器模型的更新，直至达到云端服务器模型的最大更新次数并获得全局模型；步骤5、将全局模型下发到多个边缘端服务器，工业系统的多个设备端之间将检测数据传输至多个边缘端服务器；基于检测数据、多个边缘端服务器和全局模型对工业系统的多个设备端进行异常检测。
[0006]其特征在于，检测数据包括电机的电流数据、电机的电压数据、管道的震动数据、液体流量数据或液体的温度数据。
[0007]其特征在于，步骤1的具体步骤如下：步骤11、获取当前云端服务器模型参数，其中，t=1,2,
…
,T，T为云端服务器模型的最大更新次数；当t=1时，令云端服务器初始模型参数为当前云端服务器模型参数；步骤12、将当前云端服务器模型参数发送给各个当前边缘端服务器模型获得各个当前边缘端服务器模型参数更新初值w
t（k）
，k代表第k个边缘端服务器模型，k=1,2,3
…
K，K代表边缘端服务器模型的个数；步骤13、获取当前第k个边缘端服务器模型的训练数据集D
k
，将训练数据集D
k
划分为B组子数据，每组子数据包括M个数据，，n
k
代表当前第k个边缘端服务器模型的训练数据集D
k
的样本数目；基于训练数据集D
k
的B组子数据和当前边缘端服务器模型参数更新初值w
t（k）
对当前第k个边缘端服务器模型进行batch迭代和epoch训练获得当前第k个边缘端服务器更新后模型参数w
t+1（k）
。
[0008]其特征在于，训练数据集D
k
包括电机的电流数据、电机的电压数据、管道的震动数据、液体流量数据或液体的温度数据。
[0009]其特征在于，基于训练数据集D
k
的B组子数据和当前边缘端服务器模型参数更新初值w
t（k）
对当前第k个边缘端服务器模型进行batch迭代和epoch训练获得当前第k个边缘端服务器更新后模型参数w
t+1（k）
的具体步骤为：获取当前第k个边缘端服务器模型的训练数据集D
k
，将训练数据集D
k
划分为B组子数据，每组子数据包括M个数据，，n
k
代表当前第k个边缘端服务器模型的训练数据集D
k
的样本数；基于当前第k个边缘端服务器模型的训练数据集D
k
的B组子数据进行第e轮epoch迭代，其中，e=1,2,
…
,E，E为epoch迭代的总轮数，以第e
‑
1轮epoch迭代获得的当前第k个边缘端服务器epoch迭代模型参数w
B,e
‑
1（k）
作为输入；使用当前第k个边缘端服务器模型的训练数据集D
k
的B组子数据进行B轮batch训练获得第e轮epoch迭代的当前第k个边缘端服务器epoch迭代模型参数w
B,e（k）
；使用当前第k个边缘端服务器模型的训练数据集D
k
的B组子数据进行B轮batch训练获得第e轮epoch迭代的当前第k个边缘端服务器epoch迭代模型参数w
B,e（k）
的具体步骤为：计算第b轮batch训练时当前第k个边缘端服务器模型的梯度g
k（b）
，其中，b=1,2,
…
,B；将第b轮batch训练时的当前第k个边缘端服务器batch训练模型参数w
b,e（k）
和第b轮batch训练时当前第k个边缘端服务器模型的梯度g
k（b）
赋值为第b+1轮batch迭代训练时的更新的当前第k个边缘端服务器batch迭代训练模型参数，表达式为：
其中，η为当前第k个边缘端服务器的模型学习率；直至B轮batch训练结束获得第e轮epoch迭代的当前第k个边缘端服务器epoch迭代模型参数w
B,e（k）
；进行下轮epoch迭代，直至E轮epoch迭代结束，获得当前第k个边缘端服务器epoch和batch迭代模型参数w
B,E（k）
；当e=1，b=1时，以当前边缘端服务器模型参数更新初值w
t（k）
作为输入，使用当前第k个边缘端服务器模型的训练数据集D
k
的B组子数据进行训练B轮batch训练获得第1轮epoch迭代的第k个边缘端服务器epoch迭代模型参数w
B,1（k）
；基于当前第k个边缘端服务器epoch和batch迭代模型参数w
B,E（k）
，获得第k个边缘端服务器更新后模型参数w
t+1（k）<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的工业互联网云边模型聚合方法，联邦学习模型包括云端服务器模型和多个边缘端服务器模型，多个边缘端服务器模型与工业系统的多个设备端通信连接，其特征在于，具体包括以下步骤：步骤1、基于当前云端服务器模型参数更新每个边缘端服务器模型参数；步骤2、对每个边缘端服务器模型进行筛选，筛选出满足当前云端服务器模型参数与更新后的边缘端服务器模型参数的权重相似性度条件的边缘端服务器模型作为聚合边缘端服务器；步骤3、基于聚合边缘端服务器模型更新云端服务器模型参数；步骤4、基于更新后的云端服务器模型参数进行下一次云端服务器模型的更新，直至达到云端服务器模型的最大更新次数并获得全局模型；步骤5、将全局模型下发到多个边缘端服务器，工业系统的多个设备端之间将检测数据传输至多个边缘端服务器；基于检测数据、多个边缘端服务器和全局模型对工业系统的多个设备端进行异常检测。2.根据权利要求1所述的工业互联网云边模型聚合方法，其特征在于，检测数据包括电机的电流数据、电机的电压数据、管道的震动数据、液体流量数据或液体的温度数据。3.根据权利要求1所述的工业互联网云边模型聚合方法，其特征在于，步骤1的具体步骤如下：步骤11、获取当前云端服务器模型参数，其中，t =1,2,
…
,T，T为云端服务器模型的最大更新次数；当t=1时，令云端服务器初始模型参数为当前云端服务器模型参数；步骤12、将当前云端服务器模型参数发送给各个当前边缘端服务器模型获得各个当前边缘端服务器模型参数更新初值w
t（k）
，k代表第k个边缘端服务器模型，k=1,2,3
…
K，K代表边缘端服务器模型的个数；步骤13、获取当前第k个边缘端服务器模型的训练数据集D
k
，将训练数据集D
k
划分为B组子数据，每组子数据包括M个数据，，n
k
代表当前第k个边缘端服务器模型的训练数据集D
k
的样本数目；基于训练数据集D
k
的B组子数据和当前边缘端服务器模型参数更新初值w
t（k）
对当前第k个边缘端服务器模型进行batch迭代和epoch训练获得当前第k个边缘端服务器更新后模型参数w
t+1（k）
。4.根据权利要求3所述的工业互联网云边模型聚合方法，其特征在于，训练数据集D
k
包括电机的电流数据、电机的电压数据、管道的震动数据、液体流量数据或液体的温度数据。5.根据权利要求3所述的工业互联网云边模型聚合方法，其特征在于，基于训练数据集D
k
的B组子数据和当前边缘端服务器模型参数更新初值w
t（k）
对当前第k个边缘端服务器模型进行batch迭代和epoch训练获得当前第k个边缘端服务器更新后模型参数w
t+1（k）
的具体步骤为：获取当前第k个边缘端服务器模型的训练数据集D
k
，将训练数据集D
k
划分为B组子数据，每组子数据包括M个数据，，n
k
代表当前第k个边缘端服务器模型的训练数据集D
k
的样本数；基于当前第k个边缘端服务器模型的训练数据集D
k
的B组子数据进行第e轮epoch迭代，其中，e=1,2,
…
,E，E为epoch迭代的总轮数，以第e
‑
1轮epoch迭代获得的当前第k个边缘端服务器epoch迭代模型参数w
B,e
‑
1（k）
作为输入；使用当前第k个边缘端服务器模型的训练...

【专利技术属性】
技术研发人员：刘克新，吕金虎，乔怡群，王田，王薇，池程，谢滨，
申请(专利权)人：中国信息通信研究院中国科学院数学与系统科学研究院，
类型：发明
国别省市：