一种模型训练方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了一种模型训练方法、装置、电子设备及存储介质。方案如下：服务端确定多个训练设备，向多个训练设备发送训练指令，该训练指令包括第一模型参数，接收每一训练设备发送的第二模型参数，该第二模型参数为训练设备基于训练指令和训练数据，对预设模型进行训练得到的，该训练数据是根据训练设备中的用户数据确定的，根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数，判断包括第三模型参数的预设模型是否收敛，若收敛，则将第三模型参数确定为预设模型训练完成后的模型参数。通过本发明专利技术实施例提供的技术方案，降低了用户隐私泄露的风险。

A Model Training Method, Device, Electronic Equipment and Storage Media

【技术实现步骤摘要】
一种模型训练方法、装置、电子设备及存储介质
本专利技术涉计算机应用
，特别是涉及一种模型训练方法、装置、电子设备及存储介质。
技术介绍
在机器学习过程中，通过从不同用户设备中收集大量的数据集和标注数据作为训练数据，并将该训练数据发送给服务端。服务端根据接收到的训练数据，对模型进行训练及测试，得到训练好的模型。在上述机器学习过程中，由于收集到的训练数据中涉及大量的用户隐私，在将训练数据发送给服务端，以及服务端根据接收到的训练数据对模型进行训练时，训练数据均存在泄露的风险，从而导致用户隐私泄露的风险。
技术实现思路
本专利技术实施例的目的在于提供一种模型训练方法、装置、电子设备及存储介质，以降低用户隐私泄露的风险。具体技术方案如下：本专利技术实施例提供了一种模型训练方法，应用于服务端，所述方法包括：确定多个训练设备；向所述多个训练设备发送训练指令，所述训练指令包括第一模型参数；接收每一训练设备发送的第二模型参数，所述第二模型参数为所述训练设备基于所述训练指令和训练数据，对预设模型进行训练得到的，所述训练数据是根据所述训练设备中的用户数据确定的；根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数；判断包括所述第三模型参数的预设模型是否收敛；若收敛，则将所述第三模型参数确定为所述预设模型训练完成后的模型参数。可选的，若包括所述第三模型参数的预设模型未收敛，则将所述第三模型参数作为所述第一模型参数，返回执行所述确定多个训练设备的步骤。可选的，所述确定多个训练设备的步骤，包括：接收多个用户设备发送的训练请求，将所述多个用户设备作为多个训练设备。可选的，在向多个训练设备发送训练指令之后，还包括：检测是否接收到其他用户设备发送的训练请求；若接收到其他用户设备发送的训练请求，则判断所述多个训练设备是否正在对所述预设模型进行训练；若正在对所述预设模型进行训练，则向所述其他用户设备发送包含预设时间的等待指令，以使所述其他用户设备根据所述等待指令，在所述预设时间后重新向所述服务端发送训练请求。可选的，所述判断包括所述第三模型参数的预设模型是否收敛的步骤，包括：获取预设的测试数据；将所述第三模型参数加载到所述预设模型中；将所述测试数据输入到包括所述第三模型参数的预设模型中，得到输出结果；确定所述输出结果对应的损失值；判断所述损失值是否大于损失值阈值；若是，则确定包括所述第三模型参数的预设模型未收敛；若否，则确定包括所述第三模型参数的预设模型收敛。可选的，所述根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数的步骤，包括：利用联合平均算法，对接收到的多个第二模型参数进行处理，得到第三模型参数；或确定训练得到每一第二模型参数的时长，作为训练时长；利用联合平均算法，对训练时长不大于第一时间阈值的多个第二模型参数进行处理，得到第三模型参数。可选的，在根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数之前，还包括：统计第二时间阈值内接收到的第二模型参数的数量；判断所述数量是否大于预设数量阈值；所述根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数的步骤，包括：若大于所述预设数量阈值，则根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数。可选的，所述方法还包括：若不大于所述预设数量阈值，则返回执行所述确定多个训练设备的步骤。可选的，在将所述第三模型参数确定为所述预设模型训练完成后的模型参数之后，还包括：接收待更新设备发送的对所述预设模型进行更新的更新请求；向所述待更新设备发送所述第三模型参数，以使所述待更新设备根据所述第三模型参数更新所述预设模型的模型参数。本专利技术实施例还提供了一种模型训练方法，应用于训练设备，所述方法包括：获取训练数据，所述训练数据是根据所述训练设备中的用户数据确定的；检测是否接收到服务端发送的训练指令，所述训练指令包括第一模型参数；若是，则基于所述训练指令和所述训练数据，对预设模型进行训练，得到第二模型参数；向所述服务端发送所述第二模型参数，以使所述服务端在接收到多个训练设备发送的第二模型参数后，根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数，判断包括所述第三模型参数的预设模型是否收敛，若收敛，则将所述第三模型参数确定为所述预设模型训练完成后的模型参数。可选的，在检测是否接收到服务端发送的训练指令之前，还包括：向服务端发送训练请求。可选的，在向服务端发送训练请求之后，还包括：检测是否接收到所述服务端发送的包括预设时间的等待指令，所述等待指令为所述服务端在接收到所述训练请求，且检测到多个训练设备正在对预设模型进行训练时发送的；若是，则根据所述等待指令，在所述预设时间后重新向所述服务端发送训练请求。本专利技术实施例还提供了一种模型训练装置，应用于服务端，所述装置包括：第一确定模块，用于确定多个训练设备；第一发送模块，用于向所述多个训练设备发送训练指令，所述训练指令包括第一模型参数；第一接收模块，用于接收每一训练设备发送的第二模型参数，所述第二模型参数为所述训练设备基于所述训练指令和训练数据，对预设模型进行训练得到的，所述训练数据是根据所述训练设备中的用户数据确定的；第二确定模块，用于根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数；第一判断模块，用于判断包括所述第三模型参数的预设模型是否收敛；第三确定模块，用于在所述第一判断模块的判断结果为是时，将所述第三模型参数确定为所述预设模型训练完成后的模型参数。可选的，所述装置还包括：第一执行模块，用于在所述第一判断模块的判断结果为否时，将所述第三模型参数作为所述第一模型参数，返回执行所述确定多个训练设备的步骤。可选的，所述第一确定模块，具体用于接收多个用户设备发送的训练请求，将所述多个用户设备作为多个训练设备。可选的，所述装置还包括：第一检测模块，用于检测是否接收到其他用户设备发送的训练请求；第二判断模块，用于在所述第一检测模块的检测结果为是时，判断所述多个训练设备是否正在对所述预设模型进行训练；第二发送模块，用于在所述第二判断模块的判断结果为是时，向所述其他用户设备发送包含预设时间的等待指令，以使所述其他用户设备根据所述等待指令，在所述预设时间后重新向所述服务端发送训练请求。可选的，所述第一判断模块，具体用于获取预设的测试数据；将所述第三模型参数加载到所述预设模型中；将所述测试数据输入到包括所述第三模型参数的预设模型中，得到输出结果；确定所述输出结果对应的损失值；判断所述损失值是否大于损失值阈值；若是，则确定包括所述第三模型参数的预设模型未收敛；若否，则确定包括所述第三模型参数的预设模型收敛。可选的，所述第二确定模块，具体用于利用联合平均算法，对接收到的多个第二模型参数进行处理，得到第三模型参数；或确定训练得到每一第二模型参数的时长，作为训练时长；利用联合平均算法，对训练时长不大于第一时间阈值的多个第二模型参数进行处理，得到第三模型参数。可选的，所述装置还包括：统计模块，用于统计第二时间阈值内接收到的第二模型参数的数量；第三判断模块，用于判断所述数量是否大于预设数量阈值；所述第二确定模块，具体用于在所述第三判断模块的判断结果为是时，根据接收到的多个第二模型参数，利用联合平均算本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，应用于服务端，所述方法包括：确定多个训练设备；向所述多个训练设备发送训练指令，所述训练指令包括第一模型参数；接收每一训练设备发送的第二模型参数，所述第二模型参数为所述训练设备基于所述训练指令和训练数据，对预设模型进行训练得到的，所述训练数据是根据所述训练设备中的用户数据确定的；根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数；判断包括所述第三模型参数的预设模型是否收敛；若收敛，则将所述第三模型参数确定为所述预设模型训练完成后的模型参数。

【技术特征摘要】
1.一种模型训练方法，其特征在于，应用于服务端，所述方法包括：确定多个训练设备；向所述多个训练设备发送训练指令，所述训练指令包括第一模型参数；接收每一训练设备发送的第二模型参数，所述第二模型参数为所述训练设备基于所述训练指令和训练数据，对预设模型进行训练得到的，所述训练数据是根据所述训练设备中的用户数据确定的；根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数；判断包括所述第三模型参数的预设模型是否收敛；若收敛，则将所述第三模型参数确定为所述预设模型训练完成后的模型参数。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若包括所述第三模型参数的预设模型未收敛，则将所述第三模型参数作为所述第一模型参数，返回执行所述确定多个训练设备的步骤。3.根据权利要求1所述的方法，其特征在于，所述确定多个训练设备的步骤，包括：接收多个用户设备发送的训练请求，将所述多个用户设备作为多个训练设备。4.根据权利要求3所述的方法，其特征在于，在向多个训练设备发送训练指令之后，还包括：检测是否接收到其他用户设备发送的训练请求；若接收到其他用户设备发送的训练请求，则判断所述多个训练设备是否正在对所述预设模型进行训练；若正在对所述预设模型进行训练，则向所述其他用户设备发送包含预设时间的等待指令，以使所述其他用户设备根据所述等待指令，在所述预设时间后重新向所述服务端发送训练请求。5.根据权利要求1所述的方法，其特征在于，所述判断包括所述第三模型参数的预设模型是否收敛的步骤，包括：获取预设的测试数据；将所述第三模型参数加载到所述预设模型中；将所述测试数据输入到包括所述第三模型参数的预设模型中，得到输出结果；确定所述输出结果对应的损失值；判断所述损失值是否大于损失值阈值；若是，则确定包括所述第三模型参数的预设模型未收敛；若否，则确定包括所述第三模型参数的预设模型收敛。6.根据权利要求1所述的方法，其特征在于，所述根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数的步骤，包括：利用联合平均算法，对接收到的多个第二模型参数进行处理，得到第三模型参数；或确定训练得到每一第二模型参数的时长，作为训练时长；利用联合平均算法，对训练时长不大于第一时间阈值的多个第二模型参数进行处理，得到第三模型参数。7.根据权利要求1所述的方法，其特征在于，在根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数之前，还包括：统计第二时间阈值内接收到的第二模型参数的数量；判断所述数量是否大于预设数量阈值；所述根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数的步骤，包括：若大于所述预设数量阈值，则根据接收到的多个第二模型参数，利用联合平均算法，得到第三模型参数。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：若不大于所述预设数量阈值，则返回执行所述确定多个训练设备的步骤。9.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：李腾飞，张桢宵，
申请(专利权)人：北京金山安全软件有限公司，
类型：发明
国别省市：北京,11