联邦学习系统及其大规模影像训练方法和装置制造方法及图纸

本申请公开了一种联邦学习系统及其大规模影像训练方法和装置，联邦学习系统包括多个终端，每个终端均根据自身存储的本地数据进行模型训练，每个终端可根据预设规则作为临时协作方与其他终端进行通信，针对每个终端，方法包括：获取基于本地数据进行训练的当前迭代步生成的关键参数；根据预设规则确定当前迭代步对应的临时协作方；将关键参数发送至临时协作方，以使临时协作方根据接收到的各终端发送的关键参数进行模型融合，并将下一迭代步的模型参数发送至每个终端；接收临时协作方发送的下一迭代步的模型参数，并基于模型参数和本地数据进行下一迭代步的训练，通过动态确定临时协作方，有效避免固定服务器带来的瓶颈和异常。有效避免固定服务器带来的瓶颈和异常。有效避免固定服务器带来的瓶颈和异常。

【技术实现步骤摘要】
联邦学习系统及其大规模影像训练方法和装置


[0001]本公开一般涉及人工智能
，具体涉及深度学习
，尤其涉及一种联邦学习系统及其大规模影像训练方法和装置。

技术介绍

[0002]联邦学习是一种对大规模影像进行有效脱敏训练的方法。相关技术中，通常在联邦学习系统中，确定固定的协调方，然后将系统中的其他终端作为参与方进行恒定功能的训练。但是，固定的协作方使得整个联邦系统的训练情况都受到协作方能力的限制，并且容易收到病毒攻击，明显制约了大规模影像的训练。

技术实现思路

[0003]鉴于现有技术中的上述缺陷或不足，期望提供一种联邦学习系统及其大规模影像训练方法和装置，通过动态确定临时协作方，有效避免固定服务器带来的瓶颈和异常，提高联邦系统学习训练的可靠性和鲁棒性。
[0004]第一方面，本申请实施例提供了一种基于联邦学习系统的大规模影像训练方法，联邦学习系统包括多个终端，每个所述终端均根据自身存储的本地数据进行模型训练，每个所述终端可根据预设规则作为临时协作方与其他终端进行通信，针对每个所述终端，所述方法包括：
[0005]获取基于所述本地数据进行训练的当前迭代步生成的关键参数；
[0006]根据所述预设规则确定所述当前迭代步对应的临时协作方；
[0007]将所述关键参数发送至所述临时协作方，以使所述临时协作方根据接收到的各所述终端发送的所述关键参数进行模型融合，得到所述当前迭代步对应的全局模型及其相关参数，并将下一迭代步的模型参数发送至每个所述终端；
[0008]接收所述临时协作方发送的所述下一迭代步的模型参数，并基于所述模型参数和所述本地数据进行下一迭代步的训练。
[0009]在一些实施例中，所述根据所述预设规则确定所述当前迭代步对应的临时协作方，包括：
[0010]在初始迭代轮中，每个所述终端按照预设顺序依次作为所述临时协作方；
[0011]在非初始迭代轮中，计算每个所述终端的性能指标，将所述性能指标最小的所述终端作为所述临时协作方。
[0012]在一些实施例中，所述计算每个所述终端的性能指标，将所述性能指标最小的所述终端作为所述临时协作方，包括：
[0013]针对每个所述终端，基于所述终端的历史性能数据，分别确定所述终端对应的至少一个性能指标的权重，并获取所述性能指标的权重和；
[0014]将当前所述性能指标的权重和最小的所述终端，作为所述当前迭代步对应的所述临时协作方。
[0015]在一些实施例中，相邻两个迭代步对应的临时协作方为不同终端。
[0016]在一些实施例中，所述性能指标包括CPU占用率、内存使用率和与其他终端连接处理耗时中的至少一个。
[0017]在一些实施例中，所述将所述关键参数发送至所述临时协作方，包括：
[0018]将所述关键参数进行数据整理，得到目标参数；
[0019]将所述目标参数按照与所述临时协作方之间的通信协议进行压缩，得到压缩后的参数数据包；
[0020]将所述参数数据包发送至所述临时协作方。
[0021]在一些实施例中，所述将所述参数数据包发送至所述临时协作方，包括：
[0022]在所述终端具有传输权限时，将所述参数数据包发送至所述临时协作方。
[0023]第二方面，本申请实施例提供了一种基于联邦学习系统的大规模影像训练装置，联邦学习系统包括多个终端，每个所述终端均根据自身存储的本地数据进行模型训练，每个所述终端可根据预设规则作为临时协作方与其他终端进行通信，所述装置包括：
[0024]获取模块，用于获取基于所述本地数据进行训练的当前迭代步生成的关键参数；
[0025]确定模块，用于根据所述预设规则确定所述当前迭代步对应的临时协作方；
[0026]发送模块，用于将所述关键参数发送至所述临时协作方，以使所述临时协作方根据接收到的各所述终端发送的所述关键参数进行模型融合，得到所述当前迭代步对应的全局模型及其相关参数，并将下一迭代步的模型参数发送至每个所述终端；
[0027]接收模块，用于接收所述临时协作方发送的所述下一迭代步的模型参数，并基于所述模型参数和所述本地数据进行下一迭代步的训练。
[0028]第三方面，本申请实施例提供了一种联邦学习系统，包括：根据预设规则从多个终端中确定的临时协作方以及所述多个终端中的其他终端；
[0029]所述临时协作方接收所述其他终端发送的关键参数并进行模型融合，得到当前迭代步对应的全局模型及其相关参数，以及将下一迭代步的模型参数发送至所述其他终端；
[0030]所述其他终端或基于本地数据继续宁训练的当前迭代步生成的关键参数，并将所述关键参数发送至所述临时协作方，以及接收所述临时协作方发送的下一迭代步的模型参数，并基于模型参数和本地数据进行下一迭代步的训练。
[0031]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例描述的方法。
[0032]本申请实施例的联邦学习系统及其大规模影像训练方法和装置，通过终端历史性能数据确定当前迭代步对应的临时协作方，能够使得每次作为临时协作方的终端，均为当前协作性能做高的终端，有效提高联邦学习的训练效率，减少由于固定协作方的故障或异常对系统整体运行带来的不利影响。
[0033]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0034]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
[0035]图1为本申请实施例提供的联邦学习系统的架构图；
[0036]图2为本申请实施例提出的一种基于联邦学习系统的大规模影像训练方法的流程图；
[0037]图3为本申请实施例提供的基于联邦学习系统的大规模影像训练方法的原理示意图；
[0038]图4为本申请实施例提出的一种基于联邦学习系统的大规模影像训练方法的流程图；
[0039]图5为本申请实施例提出的一种基于联邦学习系统的大规模影像训练方法的流程图；
[0040]图6为本申请实施例提出的一种基于联邦学习系统的大规模影像训练装置的方框示意图；
[0041]图7为适于用来实现本申请实施例的电子设备或服务器的计算机系统的结构示意图。
具体实施方式
[0042]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。
[0043]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0044]本申请提出的终端界面识别方法具体实施环境参见图1。图1示出了本申请实施例提供的终端界面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习系统的大规模影像训练方法，其特征在于，联邦学习系统包括多个终端，每个所述终端均根据自身存储的本地数据进行模型训练，每个所述终端可根据预设规则作为临时协作方与其他终端进行通信，针对每个所述终端，所述方法包括：获取基于所述本地数据进行训练的当前迭代步生成的关键参数；根据所述预设规则确定所述当前迭代步对应的临时协作方；将所述关键参数发送至所述临时协作方，以使所述临时协作方根据接收到的各所述终端发送的所述关键参数进行模型融合，得到所述当前迭代步对应的全局模型及其相关参数，并将下一迭代步的模型参数发送至每个所述终端；接收所述临时协作方发送的所述下一迭代步的模型参数，并基于所述模型参数和所述本地数据进行下一迭代步的训练。2.根据权利要求1所述的方法，其特征在于，所述根据所述预设规则确定所述当前迭代步对应的临时协作方，包括：在初始迭代轮中，每个所述终端按照预设顺序依次作为所述临时协作方；在非初始迭代轮中，计算每个所述终端的性能指标，将所述性能指标最小的所述终端作为所述临时协作方。3.根据权利要求2所述的方法，其特征在于，所述计算每个所述终端的性能指标，将所述性能指标最小的所述终端作为所述临时协作方，包括：针对每个所述终端，基于所述终端的历史性能数据，分别确定所述终端对应的至少一个性能指标的权重，并获取所述性能指标的权重和；将当前所述性能指标的权重和最小的所述终端，作为所述当前迭代步对应的所述临时协作方。4.根据权利要求3所述的方法，其特征在于，相邻两个迭代步对应的临时协作方为不同终端。5.根据权利要求2或3所述的方法，其特征在于，所述性能指标包括CPU占用率、内存使用率和与其他终端连接处理耗时中的至少一个。6.根据权利要求1所述的方法，其特征在于，所述将所述关键参数发送至所述临时协作方，包括：将所述关键参数进行数据整理，得到目标参数；将所述目标参数按照与所述...

【专利技术属性】
技术研发人员：何昆仑，郭华源，刘敏超，杨菲菲，鲁媛媛，李宗任，邓玉娇，
申请(专利权)人：中国人民解放军总医院，
类型：发明
国别省市：