机器学习模型管理方法、装置和系统制造方法及图纸

一种机器学习模型管理方法、装置和系统，涉及机器学习技术领域。该方法应用于联邦学习服务端，联邦学习服务端归属于第一管理域，该方法包括：从机器学习模型管理中心获取第一机器学习模型；基于第一机器学习模型和第一管理域的本地网络业务数据，与第一管理域中的多个联邦学习客户端进行联邦学习，得到第二机器学习模型；向机器学习模型管理中心发送第二机器学习模型，以使第二机器学习模型被第二管理域中的设备使用，如此有助于节省计算资源，提高机器学习模型的适应性。机器学习模型的适应性。机器学习模型的适应性。

【技术实现步骤摘要】
机器学习模型管理方法、装置和系统


[0001]本申请涉及机器学习
，尤其涉及机器学习模型管理方法、装置和系统。

技术介绍

[0002]电信运营商网络作为信息通信的基础设施，是一个需要高度智能化、自动化的自治系统。机器学习模型能够提供强大分析、判断、预测等能力，因此，将机器学习模型应用于电信运营商网络的规划、建设、维护、运行和优化等工作中，成为业界的研究热点。
[0003]联邦学习(federated learning)是一种分布式机器学习技术。如图1所示，每个联邦学习客户端(federated learning client,FLC)，如联邦学习客户端1、2、3
……
k，利用本地计算资源和本地网络业务数据进行模型训练，并将本地训练过程中产生的模型参数更新信息Δω，如Δω1、Δω2、Δω3……
Δω
k
，发送给联邦学习服务端(federated learning server，FLS)。联邦学习服务端基于模型更新参数采用汇聚算法进行模型汇聚，得到汇聚机器学习模型。汇聚机器学习模型作为联邦学习客户端下一次执行模型训练的初始模型。联邦学习客户端和联邦学习服务端多次执行上述模型训练过程，直到得到的汇聚机器学习模型满足预设条件时，停止训练。
[0004]由此可以看出，参与联邦学习的各方需要将各自的中间机器学习模型或者模型参数更新信息集中到一起，才能享受联邦学习的好处。然而，电信领域中，根据地区政策/法令或用户需求，电信运营商网络的网络业务数据(包括设备数据、设备所支撑的网络业务数据及相关用户数据等)需要隐私保护，不能泄露给第三方，由于基于中间机器学习模型可以经反推得到电信运营商网络的网络业务数据的特征，因此中间机器学习模型也不能泄露给第三方，由此，各电信运营商网络只能各自训练各自的联邦学习模型，这不仅因重复训练而浪费了计算资源，还因网络业务数据的局限性而降低了各个电信运营商网络的联邦学习模型的适应性。
[0005]例如，应用识别(service awareness)业务是网络的基础增值业务，电信运营商网络通过对应用报文或应用报文的统计数据进行识别，可以得到该应用报文属于何种应用类别(如属于A应用还是B应用等)，后续，可以针对不同的应用进行不同的处理如计费、限流、带宽保障。以机器学习模型对应应用识别业务，即机器学习模型是应用识别机器学习模型为例，某电信运营商网络的网络设备中部署有联邦学习客户端，该联邦学习客户端基于该网络设备的应用报文或应用报文的统计数据，进行本地训练，得到中间机器学习模型，如果该中间机器学习模型或模型参数更新信息泄露给了第三方，第三方可以基于该中间机器学习模型或模型参数更新信息反推得到该网络设备的应用报文或应用报文的统计数据，而应用报文或应用报文的统计数据属于敏感数据，由此给该电信运营商网络带来了安全隐患。

技术实现思路

[0006]本申请提供了一种机器学习模型管理方法、装置和系统，从整体上节省计算资源，并且有助于提高联邦学习模型的适应性。
[0007]第一方面，提供一种机器学习模型管理方法，应用于联邦学习服务端，联邦学习服务端归属于第一管理域，且与机器学习模型管理中心连接。该方法包括：首先，从机器学习模型管理中心获取第一机器学习模型。其次，使与多个联邦学习客户端各自基于第一机器学习模型和第一管理域的本地网络业务数据，与第一管理域中的多个联邦学习客户端进行联邦学习，得到第二机器学习模型。接着，向机器学习模型管理中心发送第二机器学习模型，以使第二机器学习模型被第二管理域中的设备使用。
[0008]该技术方案中，一个管理域中获得的机器学习模型可以被其他管理域中的设备使用。这样，不同管理域之间不需要重复训练机器学习模型，从整个社会角度看节省了计算资源。
[0009]另外，随着时间的推移，机器学习模型管理中心上的机器学习模型，能够集多个管理域中网络业务数据之长(即机器学习模型是间接地基于多个管理域中的网络业务数据经联邦学习得到)，其适应性(adaptivity)相对于仅基于单个管理域的网络业务数据得到的机器学习模型可以有较大的提高，对于每一个管理域而言，后续输入更新颖、更复杂的网络业务数据执行的模型业务，也能获得较好的效果。
[0010]此外，每个管理域独立进行机器学习模型的训练，且联邦学习服务端从机器学习模型管理中心获取初始机器学习模型，因此，即使一个管理域中的联邦学习服务端发生故障，当故障恢复时，该联邦学习服务端依然可以从机器学习模型管理中心获取来自当前最新的用于共享的机器学习模型(即故障期间，机器学习模型管理中心结合其他联邦学习服务端获得的更新后的机器学习模型)作为初始机器学习模型，从而有助于减少联邦学习次数，加快机器学习模型的收敛速度。相比传统技术，本技术方案在联邦学习服务端故障恢复后，机器学习模型的收敛速度较快，恢复能力更强，也就是说，鲁棒性更好。
[0011]在一种可能的设计中，从机器学习模型管理中心获取第一机器学习模型，包括：向机器学习模型管理中心发送机器学习模型需求信息；接收机器学习模型管理中心根据机器学习模型需求信息确定的第一机器学习模型。
[0012]也就是说，联邦学习服务端对第一机器学习模型“随用随取”，这样，有助于节省联邦学习服务端所在设备的存储空间。
[0013]在一种可能的设计中，机器学习模型需求信息包括机器学习模型对应的模型业务信息和/或机器学习模型训练需求。
[0014]在一种可能的设计中，训练需求包括以下至少一项：训练环境、算法类型、网络结构、训练框架、汇聚算法或安全模型。
[0015]在一种可能的设计中，该方法还包括：向机器学习模型管理中心发送第二机器学习模型的访问权限信息。
[0016]也就是说，联邦学习服务端可以自主确定自身训练得到的机器学习模型的访问权限，即该机器学习模型可以被哪些联邦学习服务端使用。后续，机器学习模型管理中心可以对具有访问权限的联邦学习服务端提供第二机器学习模型。
[0017]在一种可能的设计中，该方法还包括：向多个联邦学习客户端发送第二机器学习模型。后续，该多个联邦学习客户端可以基于第二机器学习模型执行第二机器学习模型对应的模型业务。该可能的设计提供了第二机器学习模型的应用的示例。
[0018]例如，假设第二机器学习模型对应的模型业务是应用识别业务，则该多个联邦学
习客户端可以基于第二机器学习模型进行应用识别。
[0019]在一种可能的设计中，向机器学习模型管理中心发送第二机器学习模型，包括：如果第二机器学习模型的应用效果满足预设条件，则向机器学习模型管理中心发送第二机器学习模型。
[0020]可选的，第二机器学习模型的应用效果满足预设条件，可以理解为：第二机器学习模型的应用效果达到预设目标。
[0021]这样，有助于提高联邦学习服务端发往机器学习模型管理中心的机器学习模型的精确度/准确率，从而进一步缩短其他联邦学习客户端使用该机器学习模型进行联邦学习时，机器学习模型的收敛时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型管理方法，其特征在于，应用于联邦学习服务端,所述联邦学习服务端归属于第一管理域，且与机器学习模型管理中心连接；所述方法包括：从所述机器学习模型管理中心获取第一机器学习模型；基于所述第一机器学习模型和所述第一管理域的本地网络业务数据，与所述第一管理域中的多个联邦学习客户端进行联邦学习，得到第二机器学习模型；向所述机器学习模型管理中心发送所述第二机器学习模型，以使所述第二机器学习模型被第二管理域中的设备使用。2.根据权利要求1所述的方法，其特征在于，所述从所述机器学习模型管理中心获取第一机器学习模型，包括：向所述机器学习模型管理中心发送机器学习模型需求信息；接收所述机器学习模型管理中心根据所述机器学习模型需求信息确定的所述第一机器学习模型。3.根据权利要求2所述的方法，其特征在于，所述机器学习模型需求信息包括机器学习模型对应的模型业务信息和/或机器学习模型训练需求。4.根据权利要求3所述的方法，其特征在于，所述训练需求包括以下至少一项：训练环境、算法类型、网络结构、训练框架、汇聚算法或安全模型。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：向所述机器学习模型管理中心发送所述第二机器学习模型的访问权限信息。6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：向所述多个联邦学习客户端发送所述第二机器学习模型。7.根据权利要求1至6任一项所述的方法，其特征在于，所述向所述机器学习模型管理中心发送所述第二机器学习模型，包括：如果所述第二机器学习模型的应用效果满足预设条件，则向所述机器学习模型管理中心发送所述第二机器学习模型。8.根据权利要求1至7任一项所述的方法，其特征在于，所述基于所述第一机器学习模型和所述第一管理域的本地网络业务数据，与所述第一管理域中的多个联邦学习客户端进行联邦学习，得到第二机器学习模型，包括：向所述第一管理域中的多个联邦学习客户端发送所述第一机器学习模型，以使所述多个联邦学习客户端分别基于所述第一机器学习模型和各自获取的网络业务数据进行联邦学习，得到各自的中间机器学习模型；获取所述多个联邦学习客户端得到的多个中间机器学习模型，并基于所述多个中间机器学习模型汇聚得到所述第二机器学习模型。9.一种机器学习模型管理方法，其特征在于，应用于机器学习模型管理中心,所述机器学习模型管理中心与第一联邦学习服务端连接，所述第一联邦学习服务端归属于第一管理域；所述方法包括：向所述第一联邦学习服务端发送第一机器学习模型；从所述第一联邦学习服务端接收第二机器学习模型；其中，所述第二机器学习模型为所述第一联邦学习服务端基于所述第一机器学习模型和所述第一管理域的本地网络业务数据，与所述第一管理域中的多个联邦学习客户端进行联邦学习得到的；
用所述第二机器学习模型替换所述第一机器学习模型，以使所述第二机器学习模型被第二管理域中的设备使用。10.根据权利要求9所述的方法，其特征在于，在所述向联邦学习服务端发送第一机器学习模型之前，所述方法还包括：接收所述第一联邦学习服务端发送的机器学习模型需求信息；根据所述机器学习模型需求信息，确定所述第一机器学习模型。11.根据权利要求10所述的方法，其特征在于，所述机器学习模型需求信息包括机器学习模型对应的模型业务信息和/或机器学习模型训练需求。12.根据权利要求11所述的方法，其特征在于，所述训练需求包括以下至少一项：训练环境、算法类型、网络结构、训练框架、汇聚算法或安全模型。13.根据权利要求9至12任一项所述的方法，其特征在于，所述第二机器学习模型是基于第一训练框架的机器学习模型；所述方法还包括：将所述第二机器学习模型转换为第三机器学习模型；其中，所述第三机器学习模型是基于第二训练框架的机器学习模型，且所述第三机器学习模型和所述第二机器学习模型是同一模型业务信息对应的机器学习模型。14.根据权利要求9至13任一项所述的方法，其特征在于，所述方法还包括：接收所述第一联邦学习服务端发送的所述第二机器学习模型的访问权限信息。15.根据权利要求9至14任一项所述的方法，其特征在于，所述方法还包括：向第二联邦学习服务端发送第二机器学习模型，其中，所述第二联邦学习服务端归属于所述第二管理域；从所述第二联邦学习服务端接收第四机器学习模型；其中，所述第四机器学习模型为所述第二联邦学习服务端基于所述第二机器学习模型和所述第二管理域的本地网络业务数据，与所述第二管理域中的多个联邦学习客户端进行联邦学习得到的；用所述第四机器学习模型替换所述第二机器学习模型。16.一种联邦学习系统，包括：联邦学习服务端和多个联邦学习客户端，其特征在于：所述联邦学习服务端和所述多个联邦学习客户端归属于第一管理域，且所述联邦学习服务端与机器学习模型管理中心连接；所述联邦学习服务端，用于从所述机器学习模型管理中心获取第一机器学习模型，并向所述多个联邦学习客户端发送所述第一机器学习模型；所述多个联邦学习客户端中的每个联邦学习客户端，用于基于所述第一机器学习模型和各自获取的网络业务数据，进行联邦学习，得到各自的中间机器学习模型；所述联邦学习服务端，还用于获取所述多个联邦学习客户端得到的多个中间机器学习模型，并基于所述多个中间机器学习模型汇聚得到第二机器学习模型，向所述机器学习模型管理中心发送所述第二机器学习模型，以使所述第二机器学习模型被第二管理域中的设备使用。17.根据权利要求16所述的联邦学习系统，其特征在于，所述联邦学习服务端，还用于向所述多个联邦学习客户端发送所述第二机器学习模型；所述多个联邦学习客户端中的每个联邦学习客户端，还用于基于所述第二机器学习模
型执行所述第二机器学习模型对应的模型业务。18.一种网络系统，其特征在于，包括：机器学习模型管理中心、联邦学习服务端和多个联邦学习客户端；所述联邦学习服务端和所述多个联邦学习客户端归属于第一管理域，且所述联邦学习服务端与所述机器学习模型管理中心连接；所述机器学习模型管理中心，用于向所述联邦学习服务端发送第一机器学习模型；所述联邦学习服务端，用于向所述多个联邦学习客户端发送所述第一机器学习模型；所述多个联邦学习客户端中的每个联邦学习客户端，用于基于所述第一机器学习模型和各自获取的网络业务数据，进行联邦学习，得到各自的中间机器学习模型；所述联邦学习服务端，还用于获取所述多个联邦学习客户端得到的多个中间机器学习模型，并基于所述多个中间机器学习模型汇聚得到第二机器学习模型，并向所述机器学习模型管理中心发送所述第二机器学习模型，以使所述第二机器学习模型被第二管理域中的设备使用；所述机器学习模型管理...

【专利技术属性】
技术研发人员：江涛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：