【技术实现步骤摘要】
本专利技术涉及分布式机器学习，尤其涉及一种基于局部自注意力机制（self-attention mechanism）的个性化联邦聚合算法。
技术介绍
1、联邦学习是近年来机器学习领域的一个新范式，允许多个数据所有者在不直接共享原始数据的情况下共同训练一个全局模型，解决了分布式数据共享的隐私问题，由此在保证数据隐私的同时提高模型的全局性能。
2、然而，现实情况下大部分本地客户端持有的数据都是非独立同分布的，当处理非独立同分布的数据时，这种方法却面临着挑战。尽管传统的联邦学习方法，如联邦平均算法，在多方协同训练中起到了关键作用，但它们在处理非独立同分布（non-independentand identically distributed）数据时可能遇到收敛性和准确性的问题。为了提高模型的全局性能，研究者已经探索了各种策略，但这些方法往往没有充分考虑到数据的异构性和客户端之间的个性化需求。
3、此外，自注意力机制作为一项允许模型的每个元素与输入序列中的所有其他元素交互的技术，虽然在某些应用中已经显示出其优势，但如何在联邦学习环境中有效地应用它仍然是一个开放的问题。
4、因此，本
中存在一种需求，即，结合自注意力机制与联邦学习，以更好地处理非独立同分布的数据，并满足各个客户端的个性化需求。
技术实现思路
1、为了克服现有技术的缺陷，本专利技术所要解决的技术问题是：如何结合自注意力机制与联邦学习，以更好地处理非独立同分布的数据，并满足各个客户端的个性化
2、为解决上述技术问题，本专利技术提供一种基于局部自注意力机制的个性化联邦聚合算法，包含如下步骤：
3、s1：中央服务器将预训练好的全局模型分发给多个客户端；
4、s2：多个客户端根据本地数据集分别对所得模型进行训练；
5、s3：多个客户端将本地训练得到的模型参数分别加密，上传至中央服务器；
6、s4：中央服务器对所有模型的梯度进行聚合，生成全局模型参数；
7、s5：中央服务器将聚合后的全局模型参数分别加密，传回至多个客户端。
8、优选地，步骤s2还包括：训练完成后，多个客户端分别将自己的模型与之前预训练好的全局模型进行比较，计算模型之间的距离差异。
9、进一步优选地，步骤s2还包括：在计算出模型之间距离差异的度量后，结合测试集精度的影响因子和样本量的影响，建立个性化聚合权值的综合计算公式，计算出最终的本地客户端的个性化权重系数；
10、所述个性化聚合权值的综合计算公式为：
11、
12、其中，“dismatric”表示模型距离矩阵，dismatric[i,n]表示第i个本地模型与预训练好的全局模型之间的差异；使用指数函数e推导出常数系数，之后进行归一化，然后乘以超参数；其中α, β, γ分别表示各自的超参数，acc表示本地测试集准确率，n表示客户端样本数量。
13、优选地，应用核pca主成分分析对归一化数据进行降维，选择径向基函数作为核，将数据降维到二维，捕捉数据中的非线性关系。
14、优选地，基于简化后的数据计算本地客户端与预训练后的全局模型之间的欧几里得距离。
15、优选地，在步骤s1中，所述预训练好的全局模型，是使用带自注意力机制的卷积网络训练后的全局模型。
16、优选地，在步骤s1中，预训练所使用的数据集包括mnist数据集和svhn数据集，都采用dirichlet分布对数据集进行分区划分。
17、优选地，在步骤s2中，选择sgd随机梯度下降作为优化策略。
18、优选地，在步骤s5中，采用个性化权重动态分配策略，根据样本量占比和测试集准确率重新计算。
19、进一步优选地，通过考虑客户端模型与预训练后的全局模型之间的参数距离差异，以及本地客户端对全局模型的贡献，对权重进行动态分配，实现个性化聚合。
20、与现有技术相比，本专利技术具有如下有益效果：
21、1.本专利技术采用多头自注意力机制增强的局部网络模型，增强了局部模型的个性化，以实现对每个客户端数据的独特特征的高效捕获，并利用加权平均聚合方法，根据客户端模型参数与全局模型之间的差异以及其对全局模型的贡献，动态分配权重，以减轻数据分布不均匀的不利影响，从而实现对非独立同分布数据的高效处理；
22、2.本专利技术在mnist（modified national institute of standards andtechnology）数据集上的准确率相比联邦平均算法（fedavg）的95.53%，提升了3.23%，能够达到98.76%；在svhn（street view house number）数据集上的提升尤为明显，从75.29%（fedavg）提升到了85.63%；
23、3.本专利技术关注于非独立同分布数据环境中的模型训练与聚合，减少了训练过程中的振荡，增强了模型的鲁棒性（robustness，承受故障和干扰的能力）和适应性，提高了准确率，同时确保了数据隐私性；不仅为联邦学习中处理非独立同分布数据提供了一种新的见解，还通过实验验证了该算法的有效性；可以很大程度地克服数据异构带来的挑战，有效地抑制训练过程中的显著震荡；
24、4.本专利技术利用dirichlet分布模拟的非独立同分布数据分区构建的数据集，将局部模型的自注意力机制与个性化聚合策略相结合进行了实验；实验结果表明，该方法在降低泛化误差的同时，显著提高了mnist和svhn数据集的测试精度；
25、5.本专利技术将自注意力机制与卷积神经网络相结合，用于局部模型训练，深入挖掘数据特征与本地客户独特性之间的相关性；在模型聚合过程中，权重系数由本地客户端模型与全局模型的相似度以及对全局模型的贡献度来确定。
本文档来自技高网...【技术保护点】
1.一种基于局部自注意力机制的个性化联邦聚合算法，其特征在于，包含如下步骤：
2.根据权利要求1所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，步骤S2还包括：训练完成后，多个客户端分别将自己的模型与之前预训练好的全局模型进行比较，计算模型之间的距离差异。
3.根据权利要求2所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，步骤S2还包括：在计算出模型之间距离差异的度量后，结合测试集精度的影响因子和样本量的影响，建立个性化聚合权值的综合计算公式，计算出最终的本地客户端的个性化权重系数；
4.根据权利要求2所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，应用核PCA主成分分析对归一化数据进行降维，选择径向基函数作为核，将数据降维到二维，捕捉数据中的非线性关系。
5.根据权利要求4所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，基于简化后的数据计算本地客户端与预训练后的全局模型之间的欧几里得距离。
6.根据权利要求1至5任一项所述的基于局部自注意力机制的个性化联邦聚合算法，其特征
7.根据权利要求1至5任一项所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，在步骤S1中，预训练所使用的数据集包括MNIST数据集和SVHN数据集，都采用Dirichlet分布对数据集进行分区划分。
8.根据权利要求1至5任一项所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，在步骤S2中，选择SGD随机梯度下降作为优化策略。
9.根据权利要求1至5任一项所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，在步骤S5中，采用个性化权重动态分配策略，根据样本量占比和测试集准确率重新计算。
10.根据权利要求9所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，通过考虑客户端模型与预训练后的全局模型之间的参数距离差异，以及本地客户端对全局模型的贡献，对权重进行动态分配，实现个性化聚合。
...【技术特征摘要】
1.一种基于局部自注意力机制的个性化联邦聚合算法，其特征在于，包含如下步骤：
2.根据权利要求1所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，步骤s2还包括：训练完成后，多个客户端分别将自己的模型与之前预训练好的全局模型进行比较，计算模型之间的距离差异。
3.根据权利要求2所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，步骤s2还包括：在计算出模型之间距离差异的度量后，结合测试集精度的影响因子和样本量的影响，建立个性化聚合权值的综合计算公式，计算出最终的本地客户端的个性化权重系数；
4.根据权利要求2所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，应用核pca主成分分析对归一化数据进行降维，选择径向基函数作为核，将数据降维到二维，捕捉数据中的非线性关系。
5.根据权利要求4所述的基于局部自注意力机制的个性化联邦聚合算法，其特征在于，基于简化后的数据计算本地客户端与预训练后的全局模型之间的欧几里得距离。
6.根据权利要求1至...
【专利技术属性】
技术研发人员：姚涛，曾雨，于泓，贺文伟，蒲桂东，
申请(专利权)人：艾迪恩山东科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。