【技术实现步骤摘要】
本专利技术涉及联邦学习，尤其涉及一种基于多任务聚类联邦个性学习的模型训练方法及装置。
技术介绍
1、现实中，大多数据集都是分散存储的，分布在不同用户拥有的多个设备上。传统的机器学习方法将这些来自用户的数据样本收集存储到一个中央存储库中，并在此基础上训练一个机器学习模型。机器学习方法的实现需要将本地设备的本地数据传输至中央服务器，该步骤构成了两个关键的挑战：一是破坏了本地数据的隐私性和安全性，因为中央服务器的恶意行为可能会造成本地数据隐私的泄露。二是增加了通信开销，本地设备需要经过网络或者其他途径将本地数据传输至中央服务器，传输距离和网络状况等均会影响通信开销。
2、联邦学习是一个新兴的机器学习训练框架，使多个用户可以在本地数据不出本地设备的情况下共同协作训练一个共享的全局模型。在每一轮的开始，中央服务器将当前的全局模型发送给参与本轮训练的本地客户端，每个客户端根据其本地数据训练模型，并只将模型的更新传递回服务器。服务器从所有客户端收集这些更新，并对全局模型进行更新，从而结束这一轮。通过消除在中央服务器上聚合所有本地数据的需要，联邦学习克服了传统机器学习方法的隐私和通信挑战，并允许机器学习模型在分布的数据上学习。
3、联邦学习存在数据异质性问题，不同本地客户端所拥有的数据的分布情况可能并不相同，不符合假设的独立同分布（independent identically distribution，iid）的分布情况，训练出的本地模型的最优解差距较大，如果在每个客户端上完成寻找局部最优后，直接把模型传给中央服务器进
技术实现思路
1、鉴于此，本专利技术实施例提供了一种基于多任务聚类联邦个性学习的模型训练方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有联邦学习模型训练过程中存在的本地数据异质的问题。
2、一方面，本专利技术提供了一种基于多任务聚类联邦个性学习的模型训练方法，所述方法在中央服务器中执行，包括以下步骤：
3、向各客户端下发上一轮训练得到的各客户端所属簇的簇模型参数和其他簇的专家层模型参数；其中，簇模型的底层表示部分划分为专家层，接近输出的上层部分划分为个性层；
4、接收各客户端基于所述簇模型参数采用本地数据训练得到的新的本地模型参数和专家层模型参数的自适应权重；所述本地数据包括多个样本以及每个样本对应的真实标签；所述自适应权重由部署在各客户端的自适应权重模型根据所述本地数据训练得到；
5、根据各客户端的本地模型参数对各客户端进行聚类分簇，形成多个簇；将同一个簇中各客户端的本地模型参数进行联邦平均聚合，形成本轮训练得到的簇模型，以得到本轮簇模型参数和专家层模型参数；
6、各客户端基于所述自适应权重聚合各簇模型的专家层模型参数，并连接个性化层模型参数，得到预测模型；将所述本地数据输入所述预测模型，得到预测结果；构建所述预测结果和所述真实标签之间的损失，以最小化损失为目标，重复上述训练步骤，直至满足预设条件，得到最终的全局模型。
7、在本专利技术的一些实施例中，所述方法还包括：
8、在第一轮训练时，所述中央服务器下发初始化模型参数至各客户端；
9、各客户端基于所述初始化模型参数采用相应的本地数据进行训练，得到本地模型。
10、在本专利技术的一些实施例中，接收各客户端基于所述簇模型参数采用本地数据训练得到的新的本地模型参数，所述方法还包括：
11、各客户端使用其本地数据通过小批量随机梯度下降训练所述本地模型，并构建用于训练所述本地模型的损失函数；所述损失函数的计算式为：
12、；
13、其中， b为所述客户端本地数据的一个小批量抽样； entropy表示交叉熵损失函数；表示本地模型参数 θ l对第 j个样本 x的预测值； y为所述样本 x的真实标签。
14、在本专利技术的一些实施例中，根据各客户端的本地模型参数对各客户端进行聚类分簇，形成多个簇，还包括：
15、获取各客户端的本地模型参数的分布情况，将参数分布作为样本，根据所述样本之间的距离使用k-means算法对客户端进行聚类分簇。
16、在本专利技术的一些实施例中，使用k-means算法对客户端进行聚类分簇包括以下步骤：
17、从各客户端的本地模型参数中随机选择k个样本作为初始的k个中心点；
18、计算每个样本到中心点的距离，按照距离自身最近的中心点进行第一次聚类；
19、根据聚类结果计算新的中心点；
20、反复迭代，直至中心点的变化满足预设收敛条件，得到最终聚类结果。
21、在本专利技术的一些实施例中，所述方法还包括：
22、在聚类时，所述客户端的本地模型参数所属簇的计算式为：
23、；
24、其中， i表示簇；表示第 j个客户端的本地模型参数； μ i表示所述中心点；
25、根据聚类结果计算新的中心点的计算式为：
26、；
27、其中，表示新的中心点；表示第 j个客户端的本地模型参数； c i表示第 i个簇。
28、在本专利技术的一些实施例中，以最小化各客户端本地模型参数到其所属的最近的中心点的距离的平方误差为目标，进行优化，计算式为：
29、；
30、其中，表示第 j个客户端的本地模型参数； c i表示第 i个簇， i∈k； μ i表示所述中心点。
31、在本专利技术的一些实施例中，基于所述自适应权重聚合各簇模型的专家层模型参数的计算式为：
32、；
33、其中，表示客户端 i聚合簇 j专家层模型参数的权重；表示簇 j的专家层模型参数。
34、另一方面，本发本文档来自技高网...
【技术保护点】
1.一种基于多任务聚类联邦个性学习的模型训练方法，其特征在于，所述方法在中央服务器中执行，包括以下步骤：
2.根据权利要求1所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，接收各客户端基于所述簇模型参数采用本地数据训练得到的新的本地模型参数，所述方法还包括：
4.根据权利要求1所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，根据各客户端的本地模型参数对各客户端进行聚类分簇，形成多个簇，还包括：
5.根据权利要求4所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，使用K-Means算法对客户端进行聚类分簇包括以下步骤：
6.根据权利要求5所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，所述方法还包括：
7.根据权利要求5所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，以最小化各客户端本地模型参数到其所属的最近的中心点的距离的平方误差为目标，进行优化，计算式为：
8.根据权利要求1所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，基于所述自适应权重聚合各簇模型的专家层模型参数的计算式为：
9.一种基于多任务聚类联邦个性学习的模型训练装置，其特征在于，所述装置应用于中央服务器，所述装置包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于多任务聚类联邦个性学习的模型训练方法，其特征在于，所述方法在中央服务器中执行，包括以下步骤：
2.根据权利要求1所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，接收各客户端基于所述簇模型参数采用本地数据训练得到的新的本地模型参数，所述方法还包括：
4.根据权利要求1所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，根据各客户端的本地模型参数对各客户端进行聚类分簇，形成多个簇，还包括：
5.根据权利要求4所述的基于多任务聚类联邦个性学习的模型训练方法，其特征在于，使用k-means算法对客户端进行聚类分簇包括以下步骤：<...
【专利技术属性】
技术研发人员：熊翱，周晗，郭少勇，王栋，李达，高博，袁琪，曹叶章，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。