本申请涉及人工智能技术，提供了基于超网络的联邦学习方法、装置及计算机设备，是先通过采样获取参与客户端，以组成客户端集合；然后通过超网络获取客户端集合中各客户端的基模型本地层参数，将客户端集合中各客户端的基模型本地层参数发送至对应的客户端；之后接收客户端集合中各客户端发送的更新后模型参数，将各客户端的更新后模型参数进行加权求和，以更新基模型本地层参数；最后在服务端对基模型本地层参数进行判断是否满足收敛条件从而确定是否继续进行模型训练。实现了在服务端中针对各客户端参与联邦学习的梯度偏移基于超网络进行个性化输出，充分考虑到了客户端的数据分布差异，并引导并加速本地基模型训练，提升模型学习效率。模型学习效率。模型学习效率。
【技术实现步骤摘要】
基于超网络的联邦学习方法、装置及计算机设备
[0001]本申请涉及人工智能的联邦学习
，尤其涉及一种基于超网络的联邦学习方法、系统、计算机设备及存储介质。
技术介绍
[0002]目前，在供应链金融领域中风控模型的建立比较主流的做法是利用联邦学习技术，联邦学习能够在保持多方数据安全的前提下，打破数据壁垒，实现跨机构间的数据融合，协作训练一个共享模型，有助于提高企业本地模型的精度。联邦学习技术具体是通过企业（客户端）与服务端的参数迭代交互来实现，每一轮的交互过程如下：A1）客户端利用本地数据进行模型训练；A2）客户端将模型参数发送给服务端；A3）服务端对参数进行安全融合更新；A4）服务端将更新完的参数回传给本地客户端进行本地更新。
[0003]但是基于上述联邦学习训练的模型，因为是训练的通用模型，一方面，无法照顾到企业间的数据分布差异，当某个企业的数据分布与整体偏离较大时联邦学习的效果反而不如本地训练。
[0004]另一方面，在联邦学习的设定中，每一轮的通信并不是所有的客户端都会参与，某些客户端的采样间隔太长，导致本地模型的“灾难性遗忘”问题，无法进行连续的学习。
技术实现思路
[0005]本申请实施例提供了一种基于超网络的联邦学习方法、系统、计算机设备及存储介质，旨在解决现有技术中联邦学习训练的通用模型，无法照顾到参与方间的数据分布差异，导致有些参与方因数据分布与整体偏离较大时联邦学习的效果反而不如本地训练的问题。
[0006]第一方面，本申请实施例提供了一种基于超网络的联邦学习方法，应用于服务端，其包括：响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合；通过超网络获取所述客户端集合中各客户端的基模型本地层参数；将与所述客户端集合中各客户端分别对应的基模型本地层参数发送至对应的客户端；接收所述客户端集合中各客户端发送的更新后模型参数；将所述客户端集合中各客户端的更新后模型参数进行加权求和，以更新所述基模型本地层参数；若所述基模型本地层参数未满足预设的模型收敛条件，生成联邦训练指令，并返回执行所述响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合的步骤；若所述基模型本地层参数满足所述模型收敛条件，获取所述基模型本地层参数作
为基模型的模型参数。
[0007]第二方面，本申请实施例提供了一种基于超网络的联邦学习方法，应用于客户端，其包括：接收服务端发送的基模型本地层参数；其中，所述基模型本地层参数是由服务端中将客户端发送的客户端ID、客户端历史采样轮次和历史梯度偏移输入至超网络进行运算得到；根据所述基模型本地层参数对本地的基模型进行模型训练，得到更新后模型参数；将所述更新后模型参数发送至服务端。
[0008]第三方面，本申请实施例提供了一种基于超网络的联邦学习系统，其包括服务端和至少一个客户端，所述服务端用于执行如第一方面所述的基于超网络的联邦学习方法，所述客户端用于执行如第二方面所述的基于超网络的联邦学习方法。
[0009]第四方面，本申请实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面或第二方面所述的基于超网络的联邦学习方法。
[0010]第五方面，本申请实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面或第二方面所述的基于超网络的联邦学习方法。
[0011]本申请实施例提供了一种基于超网络的联邦学习方法、系统及计算机设备，是先通过采样获取参与客户端，以组成客户端集合；然后通过超网络获取客户端集合中各客户端的基模型本地层参数，将客户端集合中各客户端的基模型本地层参数发送至对应的客户端；之后接收客户端集合中各客户端发送的更新后模型参数，将客户端集合中各客户端的更新后模型参数进行加权求和，以更新基模型本地层参数；最后在服务端对基模型本地层参数进行判断是否满足收敛条件从而确定是否继续进行模型训练。实现了在服务端中针对各客户端参与联邦学习的梯度偏移基于超网络进行个性化输出，充分考虑到了客户端的数据分布差异，并引导并加速本地基模型训练，提升模型学习效率。
附图说明
[0012]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1为本申请实施例提供的基于超网络的联邦学习方法的应用场景示意图；图2为本申请实施例提供的基于超网络的联邦学习方法的流程示意图；图3为本申请实施例提供的基于超网络的联邦学习方法的另一流程示意图；图4为本申请实施例提供的基于超网络的联邦学习装置的示意性框图；图5为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
[0014]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0015]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和
ꢀ“
包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0016]还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0017]还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0018]在本实施例中进行基于超网络的连邦学习时，参与方包括服务端和多个客户端，服务端作为联邦学习的全局方对训练过程进行调度管理，并记录个客户端的相应采样轮次、元梯度等训练信息。客户端则接收来自服务器端的模型参数，进行本地模型的初始化及自主训练。
[0019]先以服务端为执行主体来描述技术方案。请参阅图1和图2，图1为本申请实施例提供的基于超网络的联邦学习方法的应用场景示意图；图2为本申请实施例提供的基于超网络的联邦学习方法的流程示意图，该基于超网络的联邦学习方法应用于服务端（服务端也可以理解为服务器）中，该方法通过安装于服务端中的应用软件进行执行。
[0020]如图2所示，该方法包括步骤S101~S106。
[0021]S101、响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合。
[0022]在本实施本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于超网络的联邦学习方法，应用于服务端，其特征在于，包括：响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合；通过超网络获取所述客户端集合中各客户端的基模型本地层参数；将与所述客户端集合中各客户端分别对应的基模型本地层参数发送至对应的客户端；接收所述客户端集合中各客户端发送的更新后模型参数；将所述客户端集合中各客户端的更新后模型参数进行加权求和，以更新所述基模型本地层参数；若所述基模型本地层参数未满足预设的模型收敛条件，生成联邦训练指令，并返回执行所述响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合的步骤；若所述基模型本地层参数满足所述模型收敛条件，获取所述基模型本地层参数作为基模型的模型参数。2.根据权利要求1所述的基于超网络的联邦学习方法，其特征在于，所述响应于联邦训练指令，通过采样获取参与客户端，以组成客户端集合之前，还包括：对基模型进行初始化得到基模型初始化参数，将所述基模型初始化参数发送至与服务端连接的客户端；对超网络进行初始化得到超网络初始化参数。3.根据权利要求1所述的基于超网络的联邦学习方法，其特征在于，所述通过采样获取参与客户端，以组成客户端集合，包括：获取可用资源和通信效率，基于所述可用资源和通信效率确定采样比例；根据与服务端连接的客户端总数与所述采样比例确定本轮参与客户端总数；通过随机采样与具有所述本轮参与客户端总数的客户端建立连接，以获取所述客户端集合。4.根据权利要求1所述的基于超网络的联邦学习方法，其特征在于，所述通过超网络获取所述客户端集合中各客户端的基模型本地层参数，包括：获取所述客户端集合中的第i号客户端；其中，i的初始取值为1且i的取值范围是[1，N1]，N1表示所述客户端集合中所包括客户端的总个数；获取所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移；将所述第i号客户端的客户端ID、客户端历史采样轮次和历史梯度偏移输出至所述超网络进行运算，得到所述第i号客户端的当前梯度偏移；将i自增1以更新i的取值；若i小于或等于N1，返回执行所述获取所述客户端集合中的第i号客户端的步骤；若i大于N1，获取第1号客户端的当前梯度偏移至第N1号客户端的当前梯度偏移，组成所述客户端集合中各客户端的基模型...
【专利技术属性】
技术研发人员：罗伟杰，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。