使用非IID数据的横向联邦学习方法和系统技术方案

描述了横向联邦学习的方法和系统。获得多个局部模型参数集。每个局部模型参数集已在相应的客户端处学习。针对每个给定的局部模型参数集，计算表示所述给定的局部模型参数集与其它每一个局部模型参数集之间的相似性的协作系数。执行对所述多个局部模型参数集的更新，以获得所述多个更新的局部模型参数集。使用其它局部模型参数集的加权聚合更新每个给定的局部模型参数集，其中，所述加权聚合是使用所述协作系数计算的。所述多个更新的局部模型参数集提供给每个相应的客户端。数集提供给每个相应的客户端。数集提供给每个相应的客户端。

【技术实现步骤摘要】
【国外来华专利技术】使用非IID数据的横向联邦学习方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2020年6月2日提交的、专利技术名称为“使用非IID数据的横向联邦学习方法和系统(METHODS AND SYSTEMS FOR HORIZONTAL FEDERATED LEARNING USING NON
‑
IID DATA)”的美国专利申请序列号16/890,682的优先权，其内容通过引用的方式并入本文中。


[0003]本专利技术涉及用于训练和部署基于机器学习的模型的方法和系统，具体是用于执行横向联邦学习以使用机器学习和非随意的、相同分布的数据来学习与任务相关的模型的方法和系统。

技术介绍

[0004]人工智能(artificial intelligence，AI)或机器学习系统的有用性依赖于这些系统的训练过程中使用的大量数据。但是，许多实际应用只有有限的低质量数据，这使得AI技术在一些应用中的应用比较困难。
[0005]人们一直对如何利用来自多种不同来源的数据感兴趣，以使用机器学习和数据来学习与任本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算系统，其特征在于，包括：存储器；与所述存储器通信的处理设备，所述处理设备用于执行指令，以使所述计算系统：获得多个局部模型参数集，每个局部模型参数集已在相应的客户端处学习；针对每个给定的局部模型参数集，计算表示所述给定的局部模型参数集与所述多个局部模型参数集中的其它每一个局部模型参数集之间的相似性的一个或多个协作系数；针对每个给定的局部模型参数集，通过使用所述其它局部模型参数集的加权聚合更新所述给定的局部模型参数集，执行对所述多个局部模型参数集的更新，以获得多个更新的局部模型参数集，所述加权聚合是使用所述一个或多个协作系数计算的；提供要发送到每个相应的客户端的所述多个更新的局部模型参数集。2.根据权利要求1所述的计算系统，其特征在于，所述处理设备用于执行指令，以使所述计算系统针对每个给定的局部模型参数集，通过以下步骤，计算所述一个或多个协作系数：计算所述给定的局部模型参数集与所述多个局部模型参数集中相应的其它每一个局部模型参数集之间的余弦相似性；标准化余弦相似性值，以获得表示所述给定的局部模型参数集与所述多个局部模型参数集中的相应的其它每一个局部模型参数集之间的相似性的相应的协作系数。3.根据权利要求1或2所述的计算系统，其特征在于，所述处理设备用于执行指令，以使所述计算系统针对每个给定的局部模型参数集，通过以下步骤，执行更新：计算所述其它局部模型参数集的加权平均值，所述加权平均值为所述加权聚合；将所述加权平均值添加到所述给定的局部模型参数集。4.根据权利要求1至3中任一项所述的计算系统，其特征在于，所述处理设备用于执行指令，以使所述计算系统：生成初始模型参数集；向每个客户端提供所述初始模型参数集，以使每个客户端将相应的局部模型参数初始化为所述初始模型参数集。5.根据权利要求1至4中任一项所述的计算系统，其特征在于，所述处理设备用于执行指令，以进一步使所述计算系统通过以下步骤获得所述多个模型参数集：向每个客户端处的代理发送针对相应的局部模型参数集的请求，所述相应的局部模型参数集已在所述相应的客户端处使用专用数据学习。6.根据权利要求1至5中任一项所述的计算系统，其特征在于，迭代通过以下步骤定义：获得所述多个局部模型参数集；计算所述一个或多个协作系数；执行更新；提供所述多个更新的局部模型参数集，所述处理设备用于执行指令，以进一步使所述计算系统：重复所述迭代，直到预定义的收敛条件满足。7.一种用...

【专利技术属性】
技术研发人员：褚令洋，黄宇韬，张勇，王岚君，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：