使用非IID数据的横向联邦学习方法和系统技术方案

描述了横向联邦学习的方法和系统。获得多个局部模型参数集。每个局部模型参数集已在相应的客户端处学习。针对每个给定的局部模型参数集，计算表示所述给定的局部模型参数集与其它每一个局部模型参数集之间的相似性的协作系数。执行对所述多个局部模型参数集的更新，以获得所述多个更新的局部模型参数集。使用其它局部模型参数集的加权聚合更新每个给定的局部模型参数集，其中，所述加权聚合是使用所述协作系数计算的。所述多个更新的局部模型参数集提供给每个相应的客户端。数集提供给每个相应的客户端。数集提供给每个相应的客户端。

【技术实现步骤摘要】
【国外来华专利技术】使用非IID数据的横向联邦学习方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月2日提交的、专利技术名称为“使用非IID数据的横向联邦学习方法和系统(METHODS AND SYSTEMS FOR HORIZONTAL FEDERATED LEARNING USING NON
‑
IID DATA)”的美国专利申请序列号16/890,682的优先权，其内容通过引用的方式并入本文中。


[0003]本专利技术涉及用于训练和部署基于机器学习的模型的方法和系统，具体是用于执行横向联邦学习以使用机器学习和非随意的、相同分布的数据来学习与任务相关的模型的方法和系统。

技术介绍

[0004]人工智能(artificial intelligence，AI)或机器学习系统的有用性依赖于这些系统的训练过程中使用的大量数据。但是，许多实际应用只有有限的低质量数据，这使得AI技术在一些应用中的应用比较困难。
[0005]人们一直对如何利用来自多种不同来源的数据感兴趣，以使用机器学习和数据来学习与任务相关的模型。但是，在利用这些数据方面存在挑战。例如，由于对数据隐私的担忧和限制(如欧洲的通用数据保护条例(general data protection regulation，GDPR)和中国的网络安全法)，可能很难(如果并非不可能)集中来自不同来源的数据，而这通常是传统地使用机器学习和数据来学习与特定任务相关的模型所必需的。
[0006]联邦学习是一种机器学习技术，在这种技术中，多个本地数据所有者(也被称为客户端或节点)以协作的方式参与学习与任务相关的模型，而不相互共享其本地训练数据集。横向联邦学习可以使用包括横向分区数据的非IID本地数据集。非IID(其中，IID代表“独立和相同分布”)意味着本地数据集可能具有不相同的数据分布。横向分区数据意味着不同的本地数据集包括不同的数据样本集，这些数据样本集涵盖了同一组特征。一些现有的横向联邦学习方法，如联邦平均(federated averaging，FedAvg)或联邦近端(federated proximal，FedProx)，是基于为所有客户端学习单个集中模型。这些方法不能为每个客户端定制学习的模型，学习的单一集中模型可能不适合不同的非IID本地数据集。在另一种现有的方法(称为联邦多任务学习或MOCHA)中，可以为不同的客户学习不同的模型；但是，MOCHA方法需要严格的假设和简单的凸集模型，这限制了其适用性。
[0007]提供一种横向联邦学习的方法将是有用的，该方法可以为保存非IID本地数据集的客户端学习定制模型，并确保数据隐私。

技术实现思路

[0008]在各种示例性实施例中，本专利技术提供了用于实现横向联邦学习的示例，其中，不同的客户端私有地保存包括横向分区数据的不同非IID本地数据集。
[0009]在各种示例性实施例中，本专利技术描述了使客户端之间能够协作，以使用机器学习和非iid本地数据集学习与任务相关的模型的方法和系统。具体地，协作学习在不侵犯任何客户端数据隐私的情况下执行。
[0010]本专利技术描述了可以使客户端能够在使用机器学习学习与任务相关的模型时协作，而不损害本地数据集的隐私的示例性实施例。具体地，协作可以基于相似性或聚类技术。所公开的示例性实施例可以支持针对具有不同非IID本地数据集的不同的客户端定制与相同的任务相关的局部模型。所公开的示例性实施例通常可适用于使用机器学习来学习的不同类型的模型，包括浅层模型和深层模型。
[0011]本专利技术描述了联邦学习背景中的示例性实施例，但是，应理解，所公开的示例性实施例也可以适用于在任何分布式优化或分布式学习系统以及多任务学习系统的背景中实现，具体是对于非IID本地数据集。
[0012]在第一示例性方面中，本专利技术提供了一种计算系统，包括存储器和与存储器通信的处理设备。处理设备用于执行指令以使计算系统：获得多个局部模型参数集，每个局部模型参数集已在相应的客户端处学习；针对每个给定的模型参数集，计算表示给定的局部模型参数集与所述多个局部模型参数集中的其它每一个局部模型参数集之间的相似性的一个或多个协作系数；针对每个给定的局部模型参数集，通过使用其它局部模型参数集的加权聚合更新给定的局部模型参数集，执行对多个局部模型参数集的更新，以获得多个更新的局部模型参数集，加权聚合是使用一个或多个协作系数计算的；提供要发送到每个相应的客户端的多个更新的局部模型参数集。
[0013]处理设备可以用于执行指令，以使计算系统针对每个给定的局部模型参数集，通过以下步骤，计算一个或多个协作系数：计算给定的局部模型参数集与多个局部模型参数集中相应的其它每一个局部模型参数集之间的余弦相似性；标准化余弦相似性值，以获得表示给定的局部模型参数集与多个局部模型参数集中的相应的其它每一个局部模型参数集之间的相似性的相应的协作系数。
[0014]处理设备可用于执行指令，以使计算系统针对每个给定的局部模型参数集，通过以下步骤，执行更新：计算其它局部模型参数集的加权平均值，加权平均值为加权聚合；将加权平均值添加到给定的局部模型参数集。
[0015]处理设备可以用于执行指令以使计算系统：生成初始模型参数集；向每个客户端提供初始模型参数集，以使每个客户端将相应的局部模型参数初始化为初始模型参数集。
[0016]处理设备可用于执行指令，以进一步使计算系统通过以下步骤获得多个模型参数集：向每个客户端处的代理发送针对相应的局部模型参数集的请求，相应的局部模型参数集已在相应的客户端处使用专用数据学习。
[0017]迭代可以通过以下步骤定义：获得多个局部模型参数集；计算一个或多个协作系数；执行更新；提供多个更新的局部模型参数集。处理设备可用于执行指令，以进一步使计算系统：重复迭代，直到预定义的收敛条件满足。
[0018]在另一示例性方面，本专利技术提供了一种用于横向联邦学习的方法。该方法包括：获得多个局部模型参数集，每个模型参数集已在相应的客户端处学习；针对每个给定的局部模型参数集，计算表示给定的局部模型参数集与多个局部模型参数集中的其它每一个局部模型参数集之间的相似性的一个或多个协作系数；针对每个给定的局部模型参数集，通过
使用其它局部模型参数集的加权聚合更新给定的局部模型参数集，执行对多个局部模型参数集的更新，以获得多个更新的局部模型参数集，加权聚合是使用一个或多个协作系数计算的；提供要发送到每个相应的客户端的多个更新的局部模型参数集。
[0019]该方法可以包括由以上所描述的计算系统执行的任何步骤。
[0020]在又一示例性方面中，本专利技术提供了一种具有存储在其中的指令的计算机可读介质。指令在由计算系统的处理设备执行时，使计算系统：获得多个模型参数集，每个模型参数集表示在相应的客户端处学习的相应的局部模型；针对每个给定的局部模型参数集，计算表示给定的模型参数集与多个模型参数集中的其它每一个模型参数集之间的相似性的一个或多个协作系数；针对每个给本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算系统，其特征在于，包括：存储器；与所述存储器通信的处理设备，所述处理设备用于执行指令，以使所述计算系统：获得多个局部模型参数集，每个局部模型参数集已在相应的客户端处学习；针对每个给定的局部模型参数集，计算表示所述给定的局部模型参数集与所述多个局部模型参数集中的其它每一个局部模型参数集之间的相似性的一个或多个协作系数；针对每个给定的局部模型参数集，通过使用所述其它局部模型参数集的加权聚合更新所述给定的局部模型参数集，执行对所述多个局部模型参数集的更新，以获得多个更新的局部模型参数集，所述加权聚合是使用所述一个或多个协作系数计算的；提供要发送到每个相应的客户端的所述多个更新的局部模型参数集。2.根据权利要求1所述的计算系统，其特征在于，所述处理设备用于执行指令，以使所述计算系统针对每个给定的局部模型参数集，通过以下步骤，计算所述一个或多个协作系数：计算所述给定的局部模型参数集与所述多个局部模型参数集中相应的其它每一个局部模型参数集之间的余弦相似性；标准化余弦相似性值，以获得表示所述给定的局部模型参数集与所述多个局部模型参数集中的相应的其它每一个局部模型参数集之间的相似性的相应的协作系数。3.根据权利要求1或2所述的计算系统，其特征在于，所述处理设备用于执行指令，以使所述计算系统针对每个给定的局部模型参数集，通过以下步骤，执行更新：计算所述其它局部模型参数集的加权平均值，所述加权平均值为所述加权聚合；将所述加权平均值添加到所述给定的局部模型参数集。4.根据权利要求1至3中任一项所述的计算系统，其特征在于，所述处理设备用于执行指令，以使所述计算系统：生成初始模型参数集；向每个客户端提供所述初始模型参数集，以使每个客户端将相应的局部模型参数初始化为所述初始模型参数集。5.根据权利要求1至4中任一项所述的计算系统，其特征在于，所述处理设备用于执行指令，以进一步使所述计算系统通过以下步骤获得所述多个模型参数集：向每个客户端处的代理发送针对相应的局部模型参数集的请求，所述相应的局部模型参数集已在所述相应的客户端处使用专用数据学习。6.根据权利要求1至5中任一项所述的计算系统，其特征在于，迭代通过以下步骤定义：获得所述多个局部模型参数集；计算所述一个或多个协作系数；执行更新；提供所述多个更新的局部模型参数集，所述处理设备用于执行指令，以进一步使所述计算系统：重复所述迭代，直到预定义的收敛条件满足。7.一种用...

【专利技术属性】
技术研发人员：褚令洋，黄宇韬，张勇，王岚君，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：