高延时网络环境鲁棒的联邦学习训练方法及装置制造方法及图纸

本发明专利技术公开了高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质，涉及人工智能技术，包括获取当前系统时间，若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端；获取各目标数据上传终端的当前网络时延值以得到最大网络时延值；根据最大网络时延值及单位时序间隔步长，计算得到延时步长；将当前系统时间与延时步长求和得到目标系统时间，若当前时间为目标系统时间且未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。实现了在有网络延时的情况下，通过时延稀疏更新的方式保持联邦学习的训练效率。

【技术实现步骤摘要】
高延时网络环境鲁棒的联邦学习训练方法及装置
本专利技术涉及人工智能的模型托管
，尤其涉及一种高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质。
技术介绍
联邦机器学习是一种基于分布式参数聚合技术的机器学习框架，它的重点在于分布式的多用户，以及对应的联邦参数聚合机制。它能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。目前主流的联邦学习技术都是基于传统的同步式参数聚合技术，同步式参数聚合技术目前只能用于低时延高带宽的本地集群中，才能保证足够的训练效率。但是，在联邦学习的应用场景中，训练数据通常是分散的跨越许多地理位置的(例如跨国银行数据节点)，而这些地理位置之间的物理距离很长，因此网络延迟通常比较严重，在这种情况下，传统的同步分布式训练是无法很好地工作的。实验结果证明，传统的同步式随机梯度下降方法在网络延迟在100ms的时候，训练效率已经从0.8降到0.1，有高达八倍的速度损失；而在现实中，两个异地节点之间的网络延迟时间往往会轻易达到数百ms，此时同步式随机梯度下降方法将完全无法正常工作。
技术实现思路
本专利技术实施例提供了一种高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质，旨在解决现有技术中联邦学习的同步式随机梯度下降方法在网络延迟比较严重的时候，训练效率极大降低的问题。第一方面，本专利技术实施例提供了一种高延时网络环境鲁棒的联邦学习训练方法，其包括：获取当前系统时间，判断是否接收到各数据上传终端上传的加密数据；若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；将当前系统时间与所述延时步长求和得到目标系统时间，若当前时间为目标系统时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。第二方面，本专利技术实施例提供了一种高延时网络环境鲁棒的联邦学习训练装置，其包括：数据接收判断单元，用于获取当前系统时间，判断是否接收到各数据上传终端上传的加密数据；目标终端获取单元，用于若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；最大网络时延值获取单元，用于获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；延时步长获取单元，用于根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；目标加密数据接收判断单元，用于将当前系统时间与所述延时步长求和得到目标系统时间，若当前时间为目标系统时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及时延稀疏更新单元，用于若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的高延时网络环境鲁棒的联邦学习训练方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的高延时网络环境鲁棒的联邦学习训练方法。本专利技术实施例提供了一种高延时网络环境鲁棒的联邦学习训练方法、装置、计算机设备及存储介质，包括获取当前系统时间，判断是否接收到各数据上传终端上传的加密数据；若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；将当前系统时间与所述延时步长求和得到目标系统时间，若当前时间为目标系统时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。实现了在有网络延时的情况下，通过时延稀疏更新的方式保持联邦学习的训练效率。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的高延时网络环境鲁棒的联邦学习训练方法的应用场景示意图；图2为本专利技术实施例提供的高延时网络环境鲁棒的联邦学习训练方法的流程示意图；图3为本专利技术实施例提供的高延时网络环境鲁棒的联邦学习训练装置的示意性框图；图4为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。请参阅图1和图2，图1为本专利技术实施例提供的高延时网络环境鲁棒的联邦学习训练方法的应用场景示意图；图2为本专利技术实施例提供的高延时网络环境鲁棒的联邦学习训练方法的流程示意图，该高延时网络环境鲁棒的联邦学习训练方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执本文档来自技高网...

【技术保护点】
1.一种高延时网络环境鲁棒的联邦学习训练方法，其特征在于，包括：/n获取当前系统时间，判断是否接收到各数据上传终端上传的加密数据；/n若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；/n获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；/n根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；/n将当前系统时间与所述延时步长求和得到目标系统时间，若当前时间为目标系统时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及/n若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。/n

【技术特征摘要】
1.一种高延时网络环境鲁棒的联邦学习训练方法，其特征在于，包括：
获取当前系统时间，判断是否接收到各数据上传终端上传的加密数据；
若未接收到若干个数据上传终端上传的加密数据，获取对应的目标数据上传终端，以组成目标数据上传终端集合；
获取所述目标数据上传终端集合中各目标数据上传终端的当前网络时延值，以得到各当前网络时延值中的最大网络时延值；
根据所述最大网络时延值及所调用本地存储的单位时序间隔步长，计算得到延时步长；
将当前系统时间与所述延时步长求和得到目标系统时间，若当前时间为目标系统时间，判断是否接收到目标数据上传终端上传的目标加密数据；以及
若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练。


2.根据权利要求1所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，所述将当前系统时间与所述延时步长求和得到目标系统时间，若当前时间为目标系统时间，判断是否接收到目标数据上传终端上传的目标加密数据之后，还包括：
若接收到目标数据上传终端上传的目标加密数据，将所接收到的当前目标加密数据加入联邦学习模型的训练集，以进行本地的联邦学习训练。


3.根据权利要求1所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，所述若未接收到目标数据上传终端上传的目标加密数据，停止本地的联邦学习训练，直至接收到所有目标数据上传终端上传的目标加密数据后，恢复本地的联邦学习训练之后，还包括：
获取本地的联邦学习模型的模型参数和本地的当前全局聚合梯度；
调用已存储的学习因子，获取目标加密数据的目标数据聚合梯度；
根据计算得到弥补后模型参数；其中ω'(n,t)表示弥补后模型参数，ω(n,t)表示本地的联邦学习模型的模型参数，λ表示学习因子，表示本地的当前全局聚合梯度，表示目标数据聚合梯度。


4.根据权利要求3所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，还包括：
调用本地存储的公钥，将所述公钥和所述弥补后模型参数发送至各数据上传终端。


5.根据权利要求4所述的高延时网络环境鲁棒的联邦学习训练方法，其特征在于，还包括：
将所述弥补后模型参数上传至区块链网络。

【专利技术属性】
技术研发人员：曾昱为，王健宗，瞿晓阳，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44