本发明专利技术公开了一种联邦学习的聚合优化方法、装置及系统，通过客户端接收来自于中央服务器的全局模型；客户端根据本地数据对初始全局模型进行训练，以获得局部模型；提取局部模型的局部模型参数及卷积层的权重矩阵；计算权重矩阵的矩阵有效秩；根据矩阵有效秩计算卷积神经网络每层的聚合权重；将局部模型参数和卷积神经网络每层的聚合权重发送给中央服务器；中央服务器接收至少两个客户端上传的局部模型参数和卷积神经网络每层的聚合权重，为每个客户端的每个卷积层分配聚合权重，并更新全局模型参数作为下一轮通信轮次的初始化参数。本发明专利技术基于权重矩阵的矩阵有效秩的聚合方法，可以根据层的学习情况针对性调整聚合权重，有效改善了模型性能并可减少联邦学习的通信轮次。
1、联邦学习(fl，federated learning)是一种出色的机器学习方法，它使多个设备(例如物联网(iot)设备)或计算机能够在模型训练完成时进行协作，而无需共享它们的数据。“客户端”是fl中使用的计算机和设备，它们可以彼此完全分离并且拥有各自不同的数据，这些数据可以应用不同隐私策略，并由不同的组织拥有，并且彼此不能相互访问。由于目前常用的联邦学习聚合算法(fedavg联邦平均，其中客户端获得中央服务器共享的全局模型，进行训练，并在一个时期后返回模型，模型权重的平均通过简单平均来完成)是基于独立同分布假设进行联合建模训练，因此对于non-iid的客户端数据集直接进行模型聚合往往影响全局模型的性能和收敛速度，同时，现实生活中不同客户端多收集的数据参差不齐，例如错误标记，如直接聚合其生成的模型，将会显著降低全局模型的精度，这些问题将严重影响联邦学习算法在实际中的应用，为解决该问题现有技术提出了中心服务器分配各参与方权重，用该权重聚合各更新后的本地模型，用模型聚合结果更新全局模型，该方法提高了模型的收敛速度和测试精度，降低了非独立同分布数据对模型训练的不利影响，例如中国专利技术专利cn117035061a公开中利用损失函数进行反向传播，更新神经网络模型的聚合权重，得到最优聚合权重，但是现有技术中的权重计算不够精准，未考虑卷积神经网络模型各个层的学习效果，可能会导致学习不充分的层也对全局模型产生较大影响，降低最终的模型性能。
r/>技术实现思路
1、有鉴于此，本申请提供了一种联邦学习的聚合优化方法，解决现有技术中权重计算不够精准，未考虑卷积神经网络模型各个层的学习效果，影响最终的模型性能的技术问题。
2、根据本申请的第一方面，提供了一种联邦学习的聚合优化方法，包括：
3、客户端接收来自于中央服务器的全局模型；
4、所述客户端根据本地数据对所述初始全局模型进行训练，以获得局部模型；
5、所述客户端提取所述局部模型的局部模型参数及卷积层的权重矩阵；
6、所述客户端计算所述权重矩阵的矩阵有效秩，其中，所述矩阵有效秩通过对所述权重矩阵的奇异值分解并计算归一化奇异值的熵获得；
7、所述客户端根据所述矩阵有效秩计算卷积神经网络每层的聚合权重；
8、所述客户端将所述局部模型参数和卷积神经网络每层的聚合权重发送给所述中央服务器；
9、所述中央服务器接收至少两个所述客户端上传的所述局部模型参数和卷积神经网络每层的聚合权重；
10、所述中央服务器根据卷积神经网络每层的聚合权重和所述局部模型参数，为每个客户端的每个卷积层分配聚合权重，并更新全局模型参数，并将更新后全局模型参数作为下一轮联邦学习通信轮次的初始化参数。
11、根据本申请的第二方面，提供了一种联邦学习的客户端装置，包括：
12、第一接收模块，用于接收来自于中央服务器的全局模型；
13、第一训练模块，用于根据本地数据对所述初始全局模型进行训练，以获得局部模型；
14、提取模块，用于提取所述局部模型的局部模型参数及卷积层的权重矩阵；
15、第一计算模块，用于计算所述权重矩阵的矩阵有效秩，其中，所述矩阵有效秩通过对所述权重矩阵的奇异值分解并计算归一化奇异值的熵获得；
16、第二计算模块，用于根据所述矩阵有效秩计算卷积神经网络每层的聚合权重；
17、第一发送模块，用于将所述局部模型参数和所述矩阵有效秩发送给所述中央服务器。
18、根据本申请的第三方面，提供了一种联邦学习的中央服务器装置，包括：
19、第二接收模块，用于接收至少客户端上传的局部模型参数和卷积神经网络每层的聚合权重；
20、第二训练模块，用于根据卷积神经网络每层的聚合权重和所述局部模型参数，为每个客户端的每个卷积层分配聚合权重，并更新全局模型参数；
21、第二发送模块，用于将更新后全局模型参数作为下一轮联邦学习通信轮次的初始化参数发送给客户端。
22、根据本申请的第四方面，提供了联邦学习的训练系统，包括至少两个客户端和中央服务器，
23、其中，所述客户端用于接收来自于中央服务器的全局模型；根据本地数据对所述初始全局模型进行训练，以获得局部模型；提取所述局部模型的局部模型参数及卷积层的权重矩阵；计算所述权重矩阵的矩阵有效秩，其中，所述矩阵有效秩通过对所述权重矩阵的奇异值分解并计算归一化奇异值的熵获得；根据所述矩阵有效秩计算卷积神经网络每层的聚合权重；将所述局部模型参数和所述矩阵有效秩发送给所述中央服务器；
24、所述中央服务器用于接收至少客户端上传的局部模型参数和卷积神经网络每层的聚合权重；根据卷积神经网络每层的聚合权重和所述局部模型参数，为每个客户端的每个卷积层分配聚合权重，并更新全局模型参数；将更新后全局模型参数作为下一轮联邦学习通信轮次的初始化参数发送给客户端。
25、借由上述技术方案，本专利技术提供的一种联邦学习的聚合优化方法、装置及系统，通过客户端接收来自于中央服务器的全局模型；客户端根据本地数据对初始全局模型进行训练，以获得局部模型；提取局部模型的局部模型参数及卷积层的权重矩阵；计算权重矩阵的矩阵有效秩；根据矩阵有效秩计算卷积神经网络每层的聚合权重；将局部模型参数和卷积神经网络每层的聚合权重发送给中央服务器；中央服务器接收至少两个客户端上传的局部模型参数和卷积神经网络每层的聚合权重，为每个客户端的每个卷积层分配聚合权重，并更新全局模型参数作为下一轮通信轮次的初始化参数。本专利技术基于权重矩阵的矩阵有效秩的聚合方法，可以根据层的学习情况针对性调整聚合权重，有效改善了模型性能并可减少联邦学习的通信轮次。
26、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
本文档来自技高网...
【技术保护点】
1.一种联邦学习的聚合优化方法，其特征在于，包括：
2.根据权利要求1所述的联邦学习的聚合优化方法，其特征在于，所述客户端计算所述权重矩阵的矩阵有效秩的步骤，包括：
3.根据权利要求2所述的联邦学习的聚合优化方法，其特征在于，所述客户端根据所述矩阵有效秩计算卷积神经网络每层的聚合权重的步骤，包括：
4.根据权利要求3所述的联邦学习的聚合优化方法，其特征在于，所述客户端计算所述权重矩阵的矩阵有效秩的步骤之前包括：
5.根据权利要求4所述的联邦学习的聚合优化方法，所述判断卷积网络中层结构的类型的步骤，包括：
6.根据权利要求2所述的联邦学习的聚合优化方法，其特征在于，所述对所述对角奇异值矩阵Σ上的奇异值进行归一化，以获得归一化的奇异值向量的步骤，包括：
7.根据权利要求2所述的联邦学习的聚合优化方法，其特征在于，模型训练的梯度优化器为Adam、AdamP和RMSGrad中的一个，学习率调度器为StepLR。
8.一种联邦学习的客户端装置，其特征在于，包括：
9.一种联邦学习的中央服务器装置，其特征在于，包括：
10.一种联邦学习的训练系统，其特征在于，包括至少两个客户端和中央服务器，
...
【技术特征摘要】
1.一种联邦学习的聚合优化方法，其特征在于，包括：
2.根据权利要求1所述的联邦学习的聚合优化方法，其特征在于，所述客户端计算所述权重矩阵的矩阵有效秩的步骤，包括：
3.根据权利要求2所述的联邦学习的聚合优化方法，其特征在于，所述客户端根据所述矩阵有效秩计算卷积神经网络每层的聚合权重的步骤，包括：
4.根据权利要求3所述的联邦学习的聚合优化方法，其特征在于，所述客户端计算所述权重矩阵的矩阵有效秩的步骤之前包括：
5.根据权利要求4所述的联邦学习的聚合优化方法，所述判断卷积网络中层结构的类型的步骤，包...
【专利技术属性】
技术研发人员：朱京毅，
申请(专利权)人：朱京毅，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。