使用局部敏感散列的联合机器学习制造技术

在联合机器学习中使用局部敏感散列。服务器从客户端接收局部敏感散列(LSH)向量。在一个实施例中，服务器基于LSH向量将客户端分组到集群中；服务器通过从集群中的每个集群挑选至少一个客户端来选择客户端的子集。在另一实施例中，服务器通过最小化客户端的子集的梯度发散来找到客户端的子集。服务器从所选择的客户端接收基于经更新的模型的参数向量而被计算的LSH向量，并且基于LSH向量，服务器确定经更新的模型是否与正在训练的模型充分不同；响应于确定经更新的模型与该模型充分不同，服务器请求所选择的客户端向服务器发送参数向量。器请求所选择的客户端向服务器发送参数向量。器请求所选择的客户端向服务器发送参数向量。

【技术实现步骤摘要】
【国外来华专利技术】使用局部敏感散列的联合机器学习

技术介绍

[0001]本专利技术一般涉及联合机器学习，并且更特定地涉及使用局部敏感散列来动态地选择客户端并高效地更新联合机器学习中的模型。
[0002]联合机器学习允许大量客户端或设备(例如，边缘和移动设备)协作地训练和/或学习全局模型。联合学习系统可以具有数百到数百万个客户端。仅具有在联合机器学习过程中涉及的客户端的子集通常是充分的，因为客户端中的一些客户端可以具有用于训练全局模型的相似的局部数据。而且，由于资源的成本和效率，仅选择客户端的子集。联合机器学习中深度神经网络(DNN)的大小通常很大，并且发送所有模型参数是非常低效的。
[0003]先前公开使用客户端的随机选择。在客户端的随机选择中，通常不考虑客户端的资源和成本效率，并且忽略了某些客户端具有唯一数据并且可以提供用于机器学习的重要信息的事实。例如，Bonawitz等人在“Towards Federated Learning at Scale:System Design(arXiv:1902.01046v2,2019)”中公开了一种方法；在该方法中，通过简单的存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用局部敏感散列以用于在联合机器学习中动态地选择客户端的计算机实现的方法，所述方法包括：由联合机器学习系统中的服务器从所述联合机器学习系统中的相应客户端接收相应局部敏感散列向量，所述相应局部敏感散列向量基于训练目标函数的相应梯度向量而被计算；由所述服务器基于所述相应局部敏感散列向量将所述相应客户端分组到相应集群中；由所述服务器通过从所述相应集群中的每个集群挑选至少一个客户端来选择用于进一步参与所述联合机器学习的所述相应客户端的子集；以及其中在所述联合机器学习中使用所述相应局部敏感散列向量来对传输和处理模型参数进行加速。2.根据权利要求1所述的计算机实现的方法，还包括：由所述服务器确定新轮次客户端选择是否被需要；响应于确定所述新轮次客户端选择被需要，由所述服务器请求所述相应客户端发送相应新局部敏感散列向量，所述相应新局部敏感散列向量基于所述训练目标函数的相应当前梯度向量被计算；由所述服务器基于所述相应新局部敏感散列向量将所述相应客户端重新分组到相应新集群中；以及由所述服务器通过从所述相应新集群中的每个相应新集群挑选至少一个客户端，选择用于进一步参与所述联合机器学习的所述相应客户端的新子集。3.根据权利要求2所述的计算机实现的方法，还包括：响应于确定所述新轮次客户端选择不被需要，由所述服务器保持用于进一步参与所述联合机器学习的所述相应客户端的所述子集。4.根据权利要求2所述的计算机实现的方法，其中响应于以下条件中的至少一个条件，所述服务器发起所述新轮次客户端选择：在所述相应客户端的所述子集中的大量所选择的客户端变得不可用，所述相应客户端的所述子集的成本已经被充分改变，所述模型参数朝向与先前训练周期充分不同的方向或以与先前训练周期充分不同的幅度被更新，以及已经经过预定时间量或预定迭代次数。5.根据权利要求1所述的计算机实现的方法，还包括：由所述服务器向所述相应客户端发送所述模型参数；由所述相应客户端使用相应局部数据集和所述模型参数来计算所述相应梯度向量；由所述相应客户端计算所述相应局部敏感散列向量；以及由所述相应客户端向所述服务器发送所述相应局部敏感散列向量。6.根据权利要求5所述的计算机实现的方法，还包括：为了计算所述相应局部敏感散列向量，由所述相应客户端将所述相应梯度向量投影到低维度空间中。7.根据权利要求6所述的计算机实现的方法，其中所述相应客户端开始于发送具有较低维度的所述相应局部敏感散列向量；其中，响应于确定所述相应局部敏感散列向量的更高准确度被需要，所述服务器请求所述相应客户端发送具有更高维度的所述相应局部敏感散列向量，直到所述服务器被满足于被包括在所述相应局部敏感散列向量中的接收到的信
息。8.一种使用局部敏感散列以用于在联合机器学习中动态地选择客户端的计算机实现的方法，所述方法包括：由联合机器学习系统中的服务器从所述联合机器学习系统中的相应客户端接收相应局部敏感散列向量，所述相应局部敏感散列向量基于训练目标函数的相应梯度向量被计算；由所述服务器通过解决优化问题以最小化针对所述相应客户端的子集的梯度发散来找到所述相应客户端的所述子集，其中所述相应局部敏感散列向量被用于解决所述优化问题；由所述服务器选择用于进一步参与所述联合机器学习的所述相应客户端的所述子集；以及其中在所述联合机器学习中使用所述相应局部敏感散列向量来加速传输和处理模型参数。9.根据权利要求8所述的计算机实现的方法，还包括：由所述服务器确定新轮次客户端选择是否被需要；响应于确定新轮次客户端选择被需要，由所述服务器请求所述相应客户端发送相应新局部敏感散列向量，所述相应新局部敏感散列向量基于所述训练目标函数的相应当前梯度向量被计算；由所述服务器通过解决所述优化问题以最小化针对所述相应客户端的新子集的梯度发散来找到所述相应客户端的所述新子集，其中所述相应新局部敏感散列向量被用于解决所述优化问题；以及由所述服务器选择用于进一步参与所述联合...

【专利技术属性】
技术研发人员：王世强，G，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：