开发机器学习模型制造技术

公开了一种使用联合学习来开发机器学习模型的方法(300)。该方法由管理功能执行，包括使用机器学习算法来开发机器学习模型的种子版本(310)，并且将机器学习模型的种子版本传送给多个分布式节点(320)，该多个分布式节点中的每一个与本地数据集相关联。该方法还包括：针对该多个分布式节点中的每一个，接收相关联的本地数据集内的数据分布的表示(330)，基于接收到的表示将该多个分布式节点中的每一个分配给学习组(340)，其中每个学习组包括多个分布式节点的子集，联合学习将在学习组中执行，以及基于由学习组中的分布式节点开发的机器学习模型的节点版本，针对每个学习组获得机器学习模型的至少一个组版本(350)。机器学习模型的至少一个组版本(350)。机器学习模型的至少一个组版本(350)。

【技术实现步骤摘要】
【国外来华专利技术】开发机器学习模型


[0001]本文描述的实施例涉及用于开发机器学习模型的方法和装置。

技术介绍

[0002]常规地，可以在集中式网络节点处使用在集中式网络节点处可用的集中式数据集来开发机器学习模型。例如，网络的全局中心可能包括可以用于开发机器学习模型的全局数据集。通常，需要大型的集中式数据集来训练准确的机器学习模型。
[0003]然而，可以通过采用分布式机器学习技术来补充对用来训练机器学习模型的集中式数据集的需求。分布式学习技术的一个示例是联合学习。通过采用分布式机器学习技术，可以在边缘节点中继续训练已经过训练的机器学习模型。机器学习模型的这种进一步训练可以使用在边缘节点本地可用的数据集来执行，并且在一些实施例中，将会在边缘节点处本地生成该数据集。
[0004]因此，分布式机器学习技术允许在网络内的边缘节点处训练更新的机器学习模型，其中这些更新的机器学习模型已经使用可能尚未传送给集中式节点(最初训练机器学习模型的地方)或这些集中式节点不知道的数据进行训练。换言之，更新的机器学习模型可以在边缘节点处使用只能在边缘节点本地访问的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用联合学习来开发机器学习模型的方法，所述方法包括：在管理功能处，使用机器学习算法来开发机器学习模型的种子版本；以及将所述机器学习模型的种子版本传送给多个分布式节点，所述多个分布式节点中的每一个与本地数据集相关联；在所述多个分布式节点中的各个节点处：生成与该分布式节点相关联的本地数据集内的数据分布的表示；以及将相关联的本地数据集内的数据分布的表示传送给所述管理功能；在所述管理功能处，基于接收到的表示来将所述多个分布式节点中的每一个分配给学习组，其中每个学习组包括所述多个分布式节点的子集，联合学习将在所述子集中执行；以及针对至少一个学习组，在所述多个分布式节点中的在所述学习组内的每一个分布式节点处：基于所述机器学习模型的种子版本和相关联的本地数据集并且使用所述机器学习算法来开发所述机器学习模型的节点版本；以及将所述机器学习模型的节点版本的表示传送给所述管理功能；以及在所述管理功能处，针对每个学习组，基于由该学习组中的分布式节点开发的所述机器学习模型的节点版本，获得所述机器学习模型的至少一个组版本。2.根据权利要求1所述的方法，其中，所述管理功能包括集中式管理功能和分布式管理功能，并且其中所述分布式管理功能包括用于每个学习组的组管理功能。3.根据权利要求1或2所述的方法，其中，所述本地数据集内的数据分布的表示包括高斯混合模型GMM、欧式距离、L
‑
2距离、最大平均差异MMD、或Jsensen
‑
Renyi离散量中的任何一个。4.根据权利要求3所述的方法，其中，所述本地数据集中的数据分布的表示还包括：所述本地数据集中针对每个预定类别的标签数量。5.根据权利要求1至4中任一项所述的方法，还包括：在所述管理功能处，使用分配给学习组的分布式节点的本地数据集内的数据分布的表示，为该学习组中的分布式节点设计至少一个超参数；以及向分配给该学习组的分布式节点传送已设计的所述至少一个超参数。6.根据前述权利要求中任一项所述的方法，其中，基于接收到的数据分布的表示的相似性，将所述多个分布式节点分配给学习组。7.根据前述权利要求中任一项所述的方法，还包括：在所述管理功能处，基于针对每个组获得的所述机器学习模型的所述至少一个组版本，开发所述机器学习模型的更新种子版本。8.一种使用联合学习来开发机器学习模型的方法，所述方法由管理功能执行，包括：使用机器学习算法来开发所述机器学习模型的种子版本；将所述机器学习模型的种子版本传送给多个分布式节点，所述多个分布式节点中的每一个与本地数据集相关联；针对所述多个分布式节点中的每一个，接收相关联的本地数据集内的数据分布的表示；
基于接收到的表示将所述多个分布式节点中的每一个分配给学习组，其中，每个学习组包括所述多个分布式节点的子集，联合学习将在所述子集中执行；以及针对每个学习组，基于由该学习组中的分布式节点开发的所述机器学习模型的节点版本，获得所述机器学习模型的至少一个组版本。9.根据权利要求8所述的方法，其中，针对每个学习组，基于由该学习组中的分布式节点开发的所述机器学习模型的节点版本，获得所述机器学习模型的至少一个组版本包括：针对每个学习组，从相应学习组的组管理功能接收所述机器学习模型的所述至少一个组版本。10.根据权利要求8或9所述的方法，还包括，针对每个学习组：为该学习组实例化组管理功能；以及指示该学习组中的分布式节点将所述机器学习模型的节点版本的表示传送给实例化的组管理功能。11.根据权利要求8至10中任一项所述的方法，还包括：基于获得的所述机器学习模型的组版本来开发所述机器学习模型的更新种子版本。12.根据权利要求8至11中任一项所述的方法，其中，所述管理功能包括集中式管理功能和分布式管理功能，并且其中所述分布式管理功能包括用于每个学习组的组管理功能。13.根据权利要求12所述的方法，其中，针对每个学习组获得所述机器学习模型的所述至少一个组版本的步骤包括：在所述分布式管理功能处，针对每个学习组生成所述机器学习模型的所述至少一个组版本；以及将所述机器学习模型的所述组版本从所述分布式管理功能传送给所述集中式管理功能。14.根据权利要求12或13所述的方法，其中，针对每个学习组获得所述机器学习模型的所述至少一个组版本的步骤包括，针对每个学习组：在该组的组管理功能处，从相应学习组的每个分布式节点获得所述机器学习模型的节点版本，其中，所述机器学习模型的节点版本是已基于所述机器学习模型的种子版本和与相应分布式节点相关联的本地数据集并且使用所述机器学习算法来开发的；在所述组管理功能处，将获得的机器学习模型的节点版本进行组合，以形成该学习组的所述机器学习模型的组版本；以及由所述组管理功能将该学习组的所述机器学习模型的组版本传送给所述集中式管理功能。15.根据权利要求8至14中任一项所述的方法，还包括指示所述多个分布式节点传送所述机器学习模型的节点版本的表示，其中已经基于所述机器学习模型的种子版本和与相应分布式节点相关联的本地数据集，并且使用所述机器学习算法来开发了所述机器学习模型的节点版本。16.根据从属于权利要求12至15中任一项的权利要求15所述的方法，其中，指示所述多个分布式节点中的每一个传送所述机器学习模型的节点版本的表示的步骤包括：指示所述多个分布式节点中的每一个将所述机器学习模型的节点版本的表示传送给所述分布式管理功能中的组管理功能中的相应的组管理功能。
17.根据权利要求8至16中任一项所述的方法，其中，所述本地数据集内的数据分布的表示包括高斯混合模型GMM、欧式距离、L
‑
2距离、最大平均差异MMD、或Jsensen
‑
Renyi离散量中的任何一个。18.根据权利要求17所述的方法，其中，所述本地数据集内的数据分布的表示还包括：所述本地数据集中针对每个预定类别的标签数量。19.根据权利要求8至18中任一项所述的方法，还包括：使用分配给学习组的分布式节点的本地数据集内的数据分布的表示，为该学习组中的分布式节点设计至少一个超参数；以及向分配给该学习组的分布式节点传送已设计的所述至少一个超参数。20.根据权利要求8至19中任一项所述的方法，其中，基于接收到的数据分布的表示的相似性，将所述多个分布式节点分配给学习组。21.根据权利要求8至20中任一项所述的方法，其中，基于接收到的表示将所述多个分布式节点中的每一个分配给学习组包括：将接收到的本地数据集内的数据分布的表示与可用于所述管理功能的参考数据集中的数据分布的表示进行比较。22.根据权利要求8至21中任一项所述的方法，其中，开发所述机器学习模型的种子版本包括：对从分布式节点接收的所述机器学习模型的节点版本的表示进行组合。23.一种使用联合学习来开发机器学习模型的方法，所述方法由分布式节点执行，包括：接收机器学习模型的种子版本，其中，所述机器学习模型的种子版本是已使用机器学习算法来开发的；生成与所述分布式节点相...

【专利技术属性】
技术研发人员：康斯坦丁诺斯，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：