一种联邦学习加速方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种联邦学习加速方法、装置、设备及存储介质，涉及联邦学习领域，包括：获取联邦学习集群中的联邦服务器参与的当前联邦任务中的针对联邦模型的当前训练轮次；判断当前训练轮次是否达到预设轮次，若达到则判断当前联邦任务的学习效率是否小于其他组织；若小于则确定当前联邦任务需要的硬件加速资源，并将基于硬件加速资源确定的硬件资源请求发送至FPGA资源池，判断是否从FPGA资源池中申请到对应的目标FPGA加速卡；若申请到则利用目标FPGA加速卡对当前联邦任务进行加速以完成对联邦模型的本轮训练。本申请通过对学习效率低的当前联邦学习任务进行FPGA加速，削弱联邦学习中的短板效应，提高联邦学习的整体效率。提高联邦学习的整体效率。提高联邦学习的整体效率。

【技术实现步骤摘要】
一种联邦学习加速方法、装置、设备及存储介质


[0001]本专利技术涉及联邦学习领域，特别涉及一种联邦学习加速方法、装置、设备及存储介质。

技术介绍

[0002]联邦学习作为一种多方安全计算方法，受到越来越多的关注。多个组织共同进行联邦学习训练，任务的进度及完成时间受最慢的组织影响，即存在木桶效应。组织之间通常只能共享联邦学习的模型，不能共享数据。联邦学习任务的训练过程通常都比较耗时。一个组织通常不会只有一个联邦学习任务，因为业务的需要，通常有多个联邦学习任务。如何提高联邦学习的效率是目前有待解决的问题。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种联邦学习加速方法、装置、设备及存储介质，能够通过对学习效率低的当前联邦学习任务进行FPGA加速，削弱联邦学习中的短板效应，并提高联邦学习的整体效率。其具体方案如下：第一方面，本申请提供了一种联邦学习加速方法，包括：构建FPGA资源池和联邦学习集群，并获取所述联邦学习集群中的联邦学习服务器参与的当前联邦学习任务中的针对联邦模型的当前训练轮次；判断所述当前训练轮次是否达到预设训练轮次，如果达到，则判断所述当前联邦学习任务的学习效率是否小于其他组织对应的学习效率；如果小于，则基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源，并将基于所述硬件加速资源确定的硬件资源请求发送至所述FPGA资源池，以及判断是否从所述FPGA资源池中申请到与所述硬件资源请求对应的目标FPGA加速卡；如果申请到，则利用所述目标FPGA加速卡对所述当前联邦学习任务进行加速，以完成针对联邦模型的本轮训练。
[0004]可选的，所述判断所述当前训练轮次是否达到预设训练轮次之后，还包括：如果未达到所述预设训练轮次，则判断所述当前联邦学习任务的当前优先级是否小于预设优先级；如果所述当前优先级不小于所述预设优先级，则跳转至所述基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源的步骤；如果所述当前优先级小于所述预设优先级，则直接对联邦模型进行训练，以完成针对联邦模型的本轮训练。
[0005]可选的，所述判断所述当前联邦学习任务的学习效率是否小于其他组织对应的学习效率，包括：获取相对于本轮训练的前N轮训练中联邦模型在本组织的第一停留时间；所述N为
预设数量；获取所述前N轮训练中联邦模型在其他组织的第二停留时间；判断所述第一停留时间是否小于所述第二停留时间；相应的，所述如果小于，则基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源，包括：如果所述第一停留时间大于所述第二停留时间，则基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源。
[0006]可选的，所述获取相对于本轮训练的前N轮训练中联邦模型在本组织的第一停留时间，包括：获取联邦模型在第一目标轮训练中的训练起始时间，以及获取联邦模型在所述第一目标轮训练中的训练结束时间；所述第一目标轮训练为所述前N轮训练中的任意一轮；基于所述训练起始时间和所述训练结束时间确定出所述第一目标轮训练中联邦模型在本组织的第一停留时间。
[0007]可选的，所述获取所述前N轮训练中联邦模型在其他组织的第二停留时间，包括：获取被检测组织在完成第二目标轮训练后将联邦模型进行输出时对应的第一时间；所述被检测组织为其他组织中的任意一方；所述第二目标轮训练为所述前N轮训练中的任意一轮；获取非被检测组织将目标联邦模型发送至所述被检测组织时对应的第二时间，以及获取所述目标联邦模型在网络上的传输时延；所述目标联邦模型为所述被检测组织进行所述第二目标轮训练时对应的训练前模型；基于所述第一时间、所述第二时间以及所述传输时延确定所述第二目标轮训练中联邦模型在其他组织的第二停留时间。
[0008]可选的，所述判断是否从所述FPGA资源池中申请到与所述硬件资源请求对应的目标FPGA加速卡，包括：在所述FPGA资源池获取到所述硬件资源请求后，判断所述FPGA资源池中是否存在空闲的FPGA加速卡；如果不存在所述空闲的FPGA加速卡，则直接对联邦模型进行训练，以完成针对联邦模型的本轮训练；如果存在所述空闲的FPGA加速卡，则判断所述空闲的FPGA加速卡中是否存在满足预设最优条件的目标FPGA加速卡；如果存在所述目标FPGA加速卡，则将所述目标FPGA加速卡提供至所述当前联邦学习任务；如果不存在所述目标FPGA加速卡，则直接对联邦模型进行训练，以完成针对联邦模型的本轮训练。
[0009]可选的，所述判断所述空闲的FPGA加速卡中是否存在满足预设最优条件的目标FPGA加速卡，包括：分别确定各所述空闲的FPGA加速卡与所述联邦学习服务器之间的物理距离；从各所述物理距离中筛选出满足预设距离条件的目标物理距离，并确定出与所述目标物理距离对应的初始FPGA加速卡；
确定所述初始FPGA加速卡的空闲加速资源与所述当前联邦学习任务需要的硬件加速资源之间的初始差值；从所述初始差值中确定出差值最小的目标差值，以及确定出与所述目标差值对应的目标FPGA加速卡。
[0010]第二方面，本申请提供了一种联邦学习加速装置，包括：训练轮次获取模块，用于构建FPGA资源池和联邦学习集群，并获取所述联邦学习集群中的联邦学习服务器参与的当前联邦学习任务中的针对联邦模型的当前训练轮次；学习效率判断模块，用于判断所述当前训练轮次是否达到预设训练轮次，如果达到，则判断所述当前联邦学习任务的学习效率是否小于其他组织对应的学习效率；资源申请模块，用于如果小于，则基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源，并将基于所述硬件加速资源确定的硬件资源请求发送至所述FPGA资源池，以及判断是否从所述FPGA资源池中申请到与所述硬件资源请求对应的目标FPGA加速卡；联邦学习加速模块，用于如果申请到，则利用所述目标FPGA加速卡对所述当前联邦学习任务进行加速，以完成针对联邦模型的本轮训练。
[0011]第三方面，本申请提供了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序以实现前述的联邦学习加速方法。
[0012]第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的联邦学习加速方法。
[0013]本申请中，构建FPGA资源池和联邦学习集群，并获取所述联邦学习集群中的联邦学习服务器参与的当前联邦学习任务中的针对联邦模型的当前训练轮次；判断所述当前训练轮次是否达到预设训练轮次，如果达到，则判断所述当前联邦学习任务的学习效率是否小于其他组织对应的学习效率；如果小于，则基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源，并将基于所述硬件加速资源确定的硬件资源请求发送至所述FPGA资源池，以及判断是否从所述FPGA资源池中申请到与所述硬件资源请求对应的目标FPGA加速卡；如果申请到，则利用所述目标FPGA加速卡对所述当前联邦学习任务进行加速，以完成针对联邦模型的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习加速方法，其特征在于，包括：构建FPGA资源池和联邦学习集群，并获取所述联邦学习集群中的联邦学习服务器参与的当前联邦学习任务中的针对联邦模型的当前训练轮次；判断所述当前训练轮次是否达到预设训练轮次，如果达到，则判断所述当前联邦学习任务的学习效率是否小于其他组织对应的学习效率；如果小于，则基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源，并将基于所述硬件加速资源确定的硬件资源请求发送至所述FPGA资源池，以及判断是否从所述FPGA资源池中申请到与所述硬件资源请求对应的目标FPGA加速卡；如果申请到，则利用所述目标FPGA加速卡对所述当前联邦学习任务进行加速，以完成针对联邦模型的本轮训练。2.根据权利要求1所述的联邦学习加速方法，其特征在于，所述判断所述当前训练轮次是否达到预设训练轮次之后，还包括：如果未达到所述预设训练轮次，则判断所述当前联邦学习任务的当前优先级是否小于预设优先级；如果所述当前优先级不小于所述预设优先级，则跳转至所述基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源的步骤；如果所述当前优先级小于所述预设优先级，则直接对联邦模型进行训练，以完成针对联邦模型的本轮训练。3.根据权利要求1所述的联邦学习加速方法，其特征在于，所述判断所述当前联邦学习任务的学习效率是否小于其他组织对应的学习效率，包括：获取相对于本轮训练的前N轮训练中联邦模型在本组织的第一停留时间；所述N为预设数量；获取所述前N轮训练中联邦模型在其他组织的第二停留时间；判断所述第一停留时间是否小于所述第二停留时间；相应的，所述如果小于，则基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源，包括：如果所述第一停留时间大于所述第二停留时间，则基于所述当前联邦学习任务的学习效率确定所述当前联邦学习任务需要的硬件加速资源。4.根据权利要求3所述的联邦学习加速方法，其特征在于，所述获取相对于本轮训练的前N轮训练中联邦模型在本组织的第一停留时间，包括：获取联邦模型在第一目标轮训练中的训练起始时间，以及获取联邦模型在所述第一目标轮训练中的训练结束时间；所述第一目标轮训练为所述前N轮训练中的任意一轮；基于所述训练起始时间和所述训练结束时间确定出所述第一目标轮训练中联邦模型在本组织的第一停留时间。5.根据权利要求3所述的联邦学习加速方法，其特征在于，所述获取所述前N轮训练中联邦模型在其他组织的第二停留时间，包括：获取被检测组织在完成第二目标轮训练后将联邦模型进行输出时对应的第一时间；所述被检测组织为其他组织中的任意一方；所述第二目标轮训练为所述前N轮训练中的任意
一轮；获取非被检测组织将目标联邦模型发送至所述被检测组织时对应的第二时间，以及获取所述目标联邦模型在网络...

【专利技术属性】
技术研发人员：李彬，贾荫鹏，孙善宝，罗清彩，李锐，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：