一种模型训练方法、装置、存储介质及电子设备制造方法及图纸

本说明书公开了一种模型训练方法、装置、存储介质及电子设备，本说明书实施例中在节点设备从第一服务器中获取模型参数后，基于模型参数生成目标模型，并对目标模型进行训练，得到目标模型训练时产生的梯度数据。基于预设的梯度阈值，从梯度数据中过滤掉不满足第一服务器训练模型所需训练条件的数据，得到目标数据，并发送给第一服务器。第一服务器根据目标数据和其他节点设备发送的梯度数据，调整模型参数以生成模型，并部署于第一服务器中，并对生成的模型进行训练。在此方法中，从梯度数据中筛选出满足训练条件的目标数据，并基于目标数据调整模型参数，而不是采用所有梯度数据调整模型参数，这样可以提高第一服务器中生成的模型的训练效率。模型的训练效率。模型的训练效率。

【技术实现步骤摘要】
一种模型训练方法、装置、存储介质及电子设备


[0001]本说明书涉及计算机
，尤其涉及一种模型训练方法、装置、存储介质及电子设备。

技术介绍

[0002]随着科技的发展，可以从云服务器中获取模型并部署在用户终端，以使模型为用户提供图像识别、信息推荐、隐私保护等服务。
[0003]现有技术中，在对云服务器中的模型进行训练时，可以将待训练的模型部署于各用户终端，然后，针对每个用户终端，该用户终端采用本地的训练样本，对部署的模型进行训练，以得到梯度信息，并将梯度信息上传给云服务器。云服务器根据每个用户终端上传的梯度信息，对云服务器中的模型进行训练。
[0004]然而，现有技术采用的训练方法降低了云服务器中的模型的训练效率。

技术实现思路

[0005]本说明书实施例提供一种模型训练方法、装置、存储介质及电子设备，以部分解决上述现有技术存在的问题。
[0006]本说明书实施例采用下述技术方案：
[0007]本说明书提供的一种模型训练方法，所述方法用于分布式训练；所述分布式训练所基于的系统包括：第一服务器和若干节点设备，所述方法包括：
[0008]节点设备从所述第一服务器中获取模型参数；
[0009]基于所述模型参数，生成目标模型；
[0010]对所述目标模型进行训练，得到对所述目标模型训练时产生的梯度数据；
[0011]基于预设的梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，得到目标数据；
[0012]将所述目标数据发送给所述第一服务器，以使所述第一服务器根据接收到所述节点设备发送的所述目标数据以及其他节点设备发送的梯度数据，调整所述模型参数，并根据调整后的模型参数生成模型，并将生成的模型部署在所述第一服务器中，以对生成的模型进行训练。
[0013]可选地，基于预设的梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，具体包括：
[0014]对预设的梯度阈值进行加噪处理，得到处理后梯度阈值；
[0015]基于所述处理后梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据。
[0016]可选地，基于所述处理后梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，具体包括：
[0017]针对所述梯度数据中的每个数据，将该数据与所述处理后梯度阈值进行比较；
[0018]若该数据大于所述处理后梯度阈值，则保留该数据；
[0019]若该数据不大于所述处理后梯度阈值，则过滤掉该数据。
[0020]可选地，将所述目标数据发送给所述第一服务器，以使所述第一服务器根据接收到所述节点设备发送的所述目标数据以及其他节点设备发送的梯度数据，调整所述模型参数，具体包括：
[0021]对所述目标数据进行加噪处理，得到处理后目标数据；
[0022]将所述处理后目标数据发送给所述第一服务器，以使所述第一服务器根据接收到所述节点设备发送的所述处理后目标数据以及其他节点设备发送的梯度数据，调整所述模型参数。
[0023]可选地，基于预设的梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，得到目标数据，具体包括：
[0024]将所述梯度数据发送给第二服务器，以使所述第二服务器基于预设的梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，得到目标数据；
[0025]将所述目标数据发送给所述第一服务器，具体包括：
[0026]通过所述第二服务器，将所述目标数据发送给所述第一服务器。
[0027]可选地，将所述梯度数据发送给第二服务器，具体包括：
[0028]对所述梯度数据进行加密，得到密文数据；
[0029]将所述密文数据发送给第二服务器。
[0030]可选地，所述第二服务器的运行环境为可信执行环境TEE。
[0031]本说明书提供的一种模型训练装置，包括：
[0032]获取模块，用于节点设备从第一服务器中获取模型参数；
[0033]生成模块，用于基于所述模型参数，生成目标模型；
[0034]确定梯度数据模块，用于对所述目标模型进行训练，得到对所述目标模型训练时产生的梯度数据；
[0035]过滤模块，用于基于预设的梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，得到目标数据；
[0036]训练模块，用于将所述目标数据发送给所述第一服务器，以使所述第一服务器根据接收到所述节点设备发送的所述目标数据以及其他节点设备发送的梯度数据，调整所述模型参数，并根据调整后的模型参数生成模型，并将生成的模型部署在所述第一服务器中，以对生成的模型进行训练。
[0037]本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型训练方法。
[0038]本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的模型训练方法。
[0039]本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0040]本说明书实施例中在节点设备从第一服务器中获取模型参数之后，基于模型参数生成目标模型，并对目标模型进行训练，得到对目标模型训练时产生的梯度数据。然后，基于预设的梯度阈值，从梯度数据中过滤掉不满足第一服务器训练模型所需训练条件的数
据，得到目标数据，并发送给第一服务器。第一服务器根据节点设备发送的目标数据和其他节点设备发送的梯度数据，调整模型参数以生成模型，并部署于第一服务器中，并对生成的模型进行训练。在此方法中，从梯度数据中筛选出满足训练条件的目标数据，并基于目标数据调整模型参数，而不是采用所有梯度数据调整模型参数，这样可以提高第一服务器中生成的模型的训练效率。
附图说明
[0041]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附
[0042]图中：
[0043]图1为本说明书实施例提供的一种模型训练方法的流程示意图；
[0044]图2为本说明书实施例提供的一种模型训练的装置结构示意图；
[0045]图3为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
[0046]为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
[0047]以下结合附图，详细说明本说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，所述方法用于分布式训练；所述分布式训练所基于的系统包括：第一服务器和若干节点设备，所述方法包括：节点设备从所述第一服务器中获取模型参数；基于所述模型参数，生成目标模型；对所述目标模型进行训练，得到对所述目标模型训练时产生的梯度数据；基于预设的梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，得到目标数据；将所述目标数据发送给所述第一服务器，以使所述第一服务器根据接收到所述节点设备发送的所述目标数据以及其他节点设备发送的梯度数据，调整所述模型参数，并根据调整后的模型参数生成模型，并将生成的模型部署在所述第一服务器中，以对生成的模型进行训练。2.如权利要求1所述的方法，基于预设的梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，具体包括：对预设的梯度阈值进行加噪处理，得到处理后梯度阈值；基于所述处理后梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据。3.如权利要求2所述的方法，基于所述处理后梯度阈值，过滤掉所述梯度数据中不满足所述第一服务器训练模型所需训练条件的数据，具体包括：针对所述梯度数据中每个数据，将该数据与所述处理后梯度阈值进行比较；若该数据大于所述处理后梯度阈值，则保留该数据；若该数据不大于所述处理后梯度阈值，则过滤掉该数据。4.如权利要求1所述的方法，将所述目标数据发送给所述第一服务器，以使所述第一服务器根据接收到所述节点设备发送的所述目标数据以及其他节点设备发送的梯度数据，调整所述模型参数，具体包括：对所述目标数据进行加噪处理，得到处理后目标数据；将所述处理后目标数据发送给所述第一服务器，以使所述第一服务器根据接收到所述节点设备发送的所述处理后目标数据以及其他节点设备发送的梯度数据，调整所述模型参数。5....

【专利技术属性】
技术研发人员：傅欣艺，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：