用于联合学习的方法和装置制造方法及图纸

本发明专利技术描述了用于实现联合学习的方法和装置。所述方法包括：获取一组更新，其中，每个更新表示全局模型和相应本地模型之间的相应差值；使用所述一组更新的加权平均值，通过以下方式更新所述全局模型：计算用于计算所述加权平均值的一组加权系数，其中，所述一组加权系数是通过对所述一组更新的帕累托稳定解(Pareto

【技术实现步骤摘要】
【国外来华专利技术】用于联合学习的方法和装置


[0001]本专利技术涉及用于训练机器学习模型的方法和装置，尤其涉及用于执行联合学习的方法和装置。

技术介绍

[0002]联合学习(federated learning，FL)是一种机器学习技术，其中，多个边缘计算设备(也称为客户端节点)参与训练机器学习算法，以学习集中模型(在中央服务器上维护)，而不与中央服务器共享它们的本地训练数据集。这种本地数据集通常是私人的(例如，在智能手机上捕获的照片，或由可穿戴传感器收集的健康数据)。FL通过允许学习集中模型，而不要求客户端节点与中央服务器共享它们的本地数据集，从而帮助保护这种本地数据集的隐私。相反，每个客户端节点使用机器学习算法及其各自的本地数据集对集中模型执行本地化训练，并将对集中模型的更新传输回中央服务器。中心节点根据从客户端节点接收的更新来更新集中模型。在实际应用中成功地实际实施FL将使客户端节点(例如个人边缘计算设备)收集的大量数据能够用于学习集中模型。实施FL的一种常见方法是对每个客户端节点的参数进行平均，以获取一组聚合参数。
[0003]FL实际实施的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置，其特征在于，包括：存储全局模型的存储器；与所述存储器通信的处理设备，其中，所述处理设备用于执行指令，使得所述装置进行以下操作：获取一组更新，其中，每个更新表示全局模型和在相应客户端节点处学习的相应本地模型之间的相应差值；使用所述一组更新的加权平均值，通过以下方式更新所述全局模型：计算用于计算所述一组更新的所述加权平均值的一组加权系数，其中，所述一组加权系数是通过对所述一组更新的帕累托稳定解(Pareto
‑
stationary solution)执行多目标优化来计算的；通过将所述一组加权系数应用于所述一组更新，计算所述一组更新的所述加权平均值；通过将所述一组更新的所述加权平均值添加到所述全局模型中，生成更新后的全局模型；将所述更新后的全局模型存储在所述存储器中。2.根据权利要求1所述的装置，其特征在于，所述处理设备用于执行指令，使得所述装置执行多目标优化，以通过对所述帕累托稳定解使用多重梯度下降算法(multiple gradient descent algorithm，MGDA)计算所述一组加权系数。3.根据权利要求1或2所述的计算系统，其特征在于，所述处理设备用于执行指令，以进一步使得所述装置进行以下操作：在计算所述一组加权系数之前，对所述一组更新中的每个更新进行归一化。4.根据权利要求1至3中任一项所述的装置，其特征在于，所述处理设备用于执行指令，以进一步使得所述装置进行以下操作：在计算所述一组加权系数之前，减少所述一组更新中的更新总数。5.根据权利要求4所述的装置，其特征在于，所述处理设备用于执行指令，以进一步使得所述装置通过以下方式减少所述一组更新中的更新总数：将所述一组更新中的所述更新聚类到多个更新集群中；对于每个给定更新集群，确定表示所述给定更新集群内的单独更新的组更新；使用所述确定的组更新替换所述一组更新中的所述更新。6.根据权利要求1至5中任一项所述的装置，其特征在于，所述处理设备用于执行指令，以进一步使得所述装置通过以下方式执行多目标优化以计算所述一组权重系数：计算一组内积{q
i,i
,
…
,q
N,N
}，其中，所述一组内积包括所述一组更新中两个相同或不同更新之间的每个成对内积，q
i,j
表示所述一组更新中第i个更新和第j个更新之间的内积，i是从1到N的整数值，j是从1到N的整数值，N是表示相应客户端节点的索引；将所述一组内积重塑为表示为Q的矩阵，其中，所述内积q
i,j
是所述矩阵的第i列和第j行的条目；执行优化以求解：最小化α
T
Qα，条件是∑
i
α
i
＝1，对于所有i，α
i
≥0其中，α是表示所述一组加权系数的向量，α
i
是所述向量中的第i个条目。
7.根据权利要求1至6中任一项所述的装置，其特征在于，所述处理设备用于执行指令，以进一步使得所述装置进行以下操作：选择要从中获取所述一组更新的一组相应客户端节点。8.根据权利要求1至7中任一项所述的装置，其特征在于，所述处理设备用于执行指令，以进一步使得所述装置通过以下方式获取所述一组更新：从所述相应客户端节点接收相应的学习到的本地模型；计算所述一组更新，其中，每个更新被计算为所述相应学习到的本地模型和所述全局模型之间的相应差值。9.根据权利要求1至8中任一项所述的装置，其特征在于，所述一组更新包括一组梯度向量，其中，每个梯度向量表示所述相应的学习到的本地模型和所述全局模型之间的所述相应差值。10.根据权利要求1至9中任一项所述的装置，其特征在于，所述处理设备用于执行指令，以进一步使得所述装置进行以下操作：将所述更新后的全局模型传输到相同或不同的相应客户端节点；重复所述获取和...

【专利技术属性】
技术研发人员：基亚拉什，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：