【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于联邦学习的方法和系统，包括用于量化联邦学习中的客户端贡献的方法和系统。
技术介绍
1、联邦学习是一种机器学习技术，其中多个计算系统(也称为客户端)拥有不同数据所有者，参与训练机器学习算法以学习全局模型(在中央服务器上维护)，而无需与中央服务器共享自身的数据。每个客户端的局部数据本质上可能是私有数据或专有数据(例如，照片、健康数据、社交媒体数据、银行数据、零售数据等)。因此，联邦学习有助于保护这些局部数据的隐私，因为它可以使全局模型进行训练(即，将全局模型的可学习参数(例如，权重和偏置)设置为能使全局模型在推断中取得令人满意的性能的值)，而不要求客户端与中央服务器或其它客户端共享自身的局部数据。相反，客户端使用机器学习算法及其相应的局部数据集(set of local data/local dataset)对局部模型执行局部化训练，以学习局部模型的可学习参数的值。然后，客户端将关于其学习到的值的信息(例如，以梯度的形式)发送到中央服务器，以用于调整全局模型的可学习参数的值。中央服务器聚合从多个客户端接收到的信息，并使用聚合信息来调整全局模型的可学习参数的值。
2、然而，联邦学习中存在一个如何评估每个客户端的贡献以确保质量和/或客户端之间的公平性的问题。为了维持或鼓励客户端参与联邦学习，公平地评估不同客户端对联邦学习系统的贡献(例如，根据不同客户端对学习全局模型的可学习参数的值的贡献)非常重要。
3、因此，提供一种用于量化和评估各个客户端对联邦学习系统的贡献的方案是有用的。
【技术保护点】
1.一种计算系统，其特征在于，包括：
2.根据权利要求1所述的计算系统，其特征在于，所述处理单元还用于使所述计算系统通过以下方式进行每轮训练：
3.根据权利要求2所述的计算系统，其特征在于，计算每轮训练中的所述一个或多个效用函数值包括：
4.根据权利要求1至3中任一项所述的计算系统，其特征在于，所述补全的效用矩阵包括所有轮训练中所述多个客户端中的所有可能的客户端子集的效用函数值。
5.根据权利要求1至4中任一项所述的计算系统，其特征在于，所述处理单元还用于使所述计算系统执行以下操作：
6.根据权利要求1至5中任一项所述的计算系统，其特征在于，客户端的所述贡献分数是根据下式计算的：
7.根据权利要求1至6中任一项所述的计算系统，其特征在于，所述补全的效用矩阵计算为共同组成所述补全的效用矩阵的一对分解矩阵。
8.根据权利要求7所述的计算系统，其特征在于，在计算所述多个客户端中的每个客户端的所述贡献分数时，用所述分解矩阵代替所述补全的效用矩阵。
9.根据权利要求1至8中任一项所述的计算系统，
10.根据权利要求1至9中任一项所述的计算系统，其特征在于，所述处理单元还用于使所述计算系统执行以下操作：
11.一种方法，其特征在于，包括：
12.根据权利要求11所述的方法，其特征在于，每轮训练还包括：
13.根据权利要求12所述的方法，其特征在于，计算每轮训练中的所述一个或多个效用函数值包括：
14.根据权利要求11至13中任一项所述的方法，其特征在于，所述补全的效用矩阵包括所有轮训练中所述多个客户端中的所有可能的客户端子集的效用函数值。
15.根据权利要求11至14中任一项所述的方法，其特征在于，还包括：
16.根据权利要求11至15中任一项所述的方法，其特征在于，客户端的所述贡献分数是根据下式计算的：
17.根据权利要求11至16中任一项所述的方法，其特征在于，所述补全的效用矩阵计算为共同组成所述补全的效用矩阵的一对分解矩阵。
18.根据权利要求17所述的方法，其特征在于，在计算所述多个客户端中的每个客户端的所述贡献分数时，用所述分解矩阵代替所述补全的效用矩阵。
19.根据权利要求11至18中任一项所述的方法，其特征在于，还包括：
20.根据权利要求11至19中任一项所述的方法，其特征在于，还包括：
21.一种其上编码有指令的非瞬时性计算机可读介质，其特征在于，所述指令由计算系统的处理单元执行，以使所述计算系统执行根据权利要求11至20中所述的任一种方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种计算系统，其特征在于，包括：
2.根据权利要求1所述的计算系统，其特征在于，所述处理单元还用于使所述计算系统通过以下方式进行每轮训练：
3.根据权利要求2所述的计算系统，其特征在于，计算每轮训练中的所述一个或多个效用函数值包括：
4.根据权利要求1至3中任一项所述的计算系统，其特征在于，所述补全的效用矩阵包括所有轮训练中所述多个客户端中的所有可能的客户端子集的效用函数值。
5.根据权利要求1至4中任一项所述的计算系统，其特征在于，所述处理单元还用于使所述计算系统执行以下操作：
6.根据权利要求1至5中任一项所述的计算系统，其特征在于，客户端的所述贡献分数是根据下式计算的：
7.根据权利要求1至6中任一项所述的计算系统，其特征在于，所述补全的效用矩阵计算为共同组成所述补全的效用矩阵的一对分解矩阵。
8.根据权利要求7所述的计算系统，其特征在于，在计算所述多个客户端中的每个客户端的所述贡献分数时，用所述分解矩阵代替所述补全的效用矩阵。
9.根据权利要求1至8中任一项所述的计算系统，其特征在于，所述处理单元还用于使所述计算系统执行以下操作：
10.根据权利要求1至9中任一项所述的计算系统，其特征在于，所述处理单元还用于使所述计算系统执行以下操作：
11....
【专利技术属性】
技术研发人员：范喆楠，方黄，周子锐，张勇，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。