【技术实现步骤摘要】
本专利技术涉及联邦学习，尤其涉及一种基于专家协作学习的不平衡数据联邦学习方法。
技术介绍
1、近年来，随着人工智能领域的快速发展，深度学习技术在计算机视觉、自然语言处理、强化学习等许多领域都取得了长足的发展和进步，其成功主要得益于充足的训练数据。现有的做法通常需要将数据收集起来集中训练深度学习模型，但是在现实生活中，随着国家和人民对隐私保护的重视，将多方数据收集起来的进行中心化训练的方式进行建模越来越困难。联邦学习是一种带有安全加密的分布式机器学习框架，能够在保护数据隐私的情况下进行联合的机器学习建模。在联邦学习中，数据被被保存在每个参与方，参与方之间不共享彼此的数据，全局模型作为每个参与方的初始化模型，在多个参与方之间学习，实现“数据不动，模型动”，极大地保护了参与方的数据隐私。但是由于每个参与方所处的环境不同，参与方之间的数据往往是异构的。单一的全局模型并不能很好的适应每个参与方的数据分布。个性化联邦学习致力于为每个参与方提供定制化的模型，可以有效地缓解由于数据异构带来的参与方漂移的问题，提升模型精度。
2、许多已经被提出的个性化联邦学习方法能够很好的异构数据分布的问题。这些方法主要可以分为两类。一类是把个性化模型分为全局和和参与方的部分分开训练(arivazhagan,m.g.,aggarwal,v.,singh,a.k.,&choudhary,s.(2019).federatedlearning with personalization layers.arxiv preprint
3、ar
4、smith,v.(2021,july).ditto:fair and robust federated learning throughpersonalization.in international conference on machine learning(pp.6357-6368).pmlr.)这些个性化联邦学习的方法都考虑全局数据分布是平衡的，但是在现实应用中，搜集到的数据往往呈现不平衡状态，符合长尾分布，即有很少的类别包含了大量的样本，而大多数的类别只有很少的样本。
技术实现思路
1、有鉴于此，本专利技术的目的在于提出一种基于专家协作学习的不平衡数据联邦学习方法，能够至少解决一个
技术介绍
中提及的技术问题。
2、根据本专利技术的一个方面，提供一种基于专家协作学习的不平衡数据联邦学习方法，包括：
3、若干个参与方共同训练一全局模型，直至该全局模型收敛；
4、每个参与方下载收敛完成的该全局模型，并利用该全局模型的特征提取器去初始化参与方的若干专家模型；每个参与方根据各自的数据，对专家模型以及全局模型的分类器进行更新；所述专家模型用于针对不同类别的数据进行特征提取、分类，包括头类数据专家模型和尾类数据专家模型；
5、将待测样本输入专家模型以及全局模型，将若干专家模型的输出结果以及全局模型的输出结果加权求和，将求和的结果作为最终的预测输出。
6、在上述技术方案中，为每个参与方设置一个头专家和一个尾专家分别针对每个参与方中的头部类和尾部类，这允许每个参与方中的少数类去成为一个专家的主导类，每个专家内部的不平衡程度和参与方的不平衡程度相比，也会有所降低。此外，本专利技术将头部类专家的特征信息通过一个注意力模块迁移到尾部类专家，帮助尾部类专家训练。最终，本专利技术有效地解决联邦异构长尾数据分布的问题，进一步提升了个性化联邦学习的模型性能。
7、在一些实施例中，每个参与方根据各自的数据，对专家模型以及全局模型的分类器进行更新，具体地：
8、每个参与方下载收敛完成的全局模型w；利用全局模型的特征提取器初始化头类数据专家模型和尾类数据专家模型中的专家特征提取器及注意力模块，并冻结全局模型w的特征提取器；每个参与方把各自的数据分成头部类和尾部类，并利用专家特征提取器分别提取特征，将获得的特征分别用于训练头类数据专家模型和尾类数据专家模型。
9、在上述技术方案中，由于全局数据异构和长尾分布对全局模型的深层特征提取器和分类器的影响最大，对浅层特征提取器的影响相对较小，该方案能够充分利用全局模型的特征提取能力，帮助个性化模型的训练。进一步地，冻结的目的是因为全局模型相当于间接的访问过所有数据，泛化性能更好(已经训练的很好了)，由于每个客户端本地数据量较少，重新训练的话可能会过拟合(效果不好)，所以直接冻结参数不更新。进一步地，注意力模块的输入是头类数据专家和尾类数据专家特征提取器的输出。
10、在一些实施例中，每个参与方把各自的数据分成头部类和尾部类，并利用专家特征提取器分别提取特征，将获得的特征分别用于训练头类数据专家模型和尾类数据专家模型，具体地：
11、①头类数据专家模型
12、冻结全局模型的特征提取器最后一层之前的参数；利用头部类的本地数据作为头类本文档来自技高网...
【技术保护点】
1.一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，包括：
2.如权利要求1所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
3.如权利要求2所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
4.如权利要求3所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
5.如权利要求3所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
6.如权利要求1所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
7.一种基于专家协作学习的不平衡数据联邦学习模型，其特征在于，应用于权利要求1-6任一项所述的一种基于专家协作学习的不平衡数据联邦学习方法；所述模型包括依序连接的特征提取器、注意力模块和输出结果的分类器；
8.一种基于专家协作学习的不平衡数据联邦学习装置，其特征在于，基于权利要求1-6任一项所述的一种基于专家协作学习的不平衡数据联邦学习方法；所述装置包括中央服务器端，以及，若干个与该中央服务器端连接的客户端，以及与客户端连接的
9.一种基于专家协作学习的不平衡数据联邦学习设备，其特征在于，包括：
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的一种基于专家协作学习的不平衡数据联邦学习方法。
...【技术特征摘要】
1.一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，包括：
2.如权利要求1所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
3.如权利要求2所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
4.如权利要求3所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
5.如权利要求3所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
6.如权利要求1所述的一种基于专家协作学习的不平衡数据联邦学习方法，其特征在于，
7.一种基于专家协作学习的不平衡数据联邦学习模型，其特征在于，应用于权利要求1-6...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。