一种端边云联邦学习模型训练系统及方法技术方案

本申请实施例提供了一种端边云联邦学习模型训练系统及方法，应用于模型训练的技术领域，可以根据获取样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算待训练的联邦学习模型的总训练成本最低时的模型准确率，得到目标准确率，并根据样本数据对待训练的联邦学习模型进行训练，得到满足目标准确率的联邦学习模型，从而不但可以保证联邦学习模型的准确率，还可以降低联邦学习模型的训练成本。还可以降低联邦学习模型的训练成本。还可以降低联邦学习模型的训练成本。

【技术实现步骤摘要】
一种端边云联邦学习模型训练系统及方法


[0001]本申请涉及模型训练
，特别是涉及一种端边云联邦学习模型训练系统及方法。

技术介绍

[0002]为了保护用户的隐私数据，目前联邦学习已经有着广泛的应用。通过联邦学习可以在本地设备中迭代训练模型，从而防止用户的隐私数据的泄露。
[0003]然而，申请人在研究过程中发现，在联邦学习的过程中，由于机器学习模型迭代以及样本数据的获取等，会消耗过多的计算和通信资源，从而产生极高的费用，而如果模型迭代的次数减少，虽然的资源费用会减少，但是训练出最终模型的准确率会下降，如何在保证模型的准确率的同时降低联邦学习的成本成为一个需要解决的问题。

技术实现思路

[0004]本申请实施例的目的在于提供一种端边云联邦学习模型训练系统及方法，用以解决如何在保证模型的准确率的同时降低联邦学习的成本的问题。具体技术方案如下：
[0005]本申请实施的第一方面，提供了一种端边云联邦学习模型训练系统，包括多个终端、多个边缘端；
[0006]各终端，用于向一个或多个边缘端发送样本数据；
[0007]各边缘端，用于接收一个或多个终端发送的样本数据；计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
[0008]各终端，还用于接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；
[0009]各边缘端，还用于接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
[0010]可选的，上述系统还包括云端，
[0011]各边缘端，具体用于通过样本数据和当前的数据对联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型；将第一终端网络模型的参数发送至云端；
[0012]云端，用于对各边缘端发送的第一终端网络模型的参数进行整合，得到第一整合
参数；将第一整合参数反馈至各边缘端；
[0013]各边缘端，具体用于接收并根据第一整合参数对第一终端网络模型的参数进行更新；通过样本数据和当前的数据对更新后的联邦学习模型进行训练，得到第二终端网络模型；将第二终端网络模型的参数发送至云端，以使云端对各边缘端发送的第二终端网络模型的参数进行整合，得到并将第二整合参数反馈至各边缘端；利用第二整合参数对第二终端网络模型的参数进行更新，返回通过样本数据对更新后的终端网络模型进行训练，得到第二终端网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。
[0014]可选的，各边缘端，具体用于接收当前的数据；计算当前的数据的购买成本和传输成本，样本数据的购买成本和传输成本；根据当前的数据的购买成本和传输成本、样本数据的购买成本和传输成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型；对不同模型准确率对应的联邦学习模型的总训练成本模型进行求解，计算总训练成本最低时的模型准确率，并根据计算结果更新目标准确率，并对联邦学习模型进行训练。
[0015]可选的，各边缘端，还用于从云端下载待训练的联邦学习模型。
[0016]本申请实施的第二方面，提供了一种端边云联邦学习模型训练方法，上述方法应用于端边云联邦学习模型训练系统，上述系统包括多个终端、多个边缘端；
[0017]通过各终端向一个或多个边缘端发送样本数据；
[0018]通过各边缘端接收一个或多个终端发送的样本数据；通过各边缘端计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；通过各边缘端根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；通过各边缘端判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
[0019]通过各边缘端接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；
[0020]通过各边缘端接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
[0021]可选的，上述系统还包括云端，接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型，包括：
[0022]通过各边缘端利用样本数据和当前的数据对联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型；将第一终端网络模型的参数发送至云端；
[0023]通过各云端对各边缘端发送的第一终端网络模型的参数进行整合，得到第一整合参数；将第一整合参数反馈至各边缘端；
[0024]通过各边缘端接收并根据第一整合参数对第一终端网络模型的参数进行更新；通过样本数据和当前的数据对更新后的联邦学习模型进行训练，得到第二终端网络模型；将第二终端网络模型的参数发送至云端，以使云端对各边缘端发送的第二终端网络模型的参数进行整合，得到并将第二整合参数反馈至各边缘端；利用第二整合参数对第二终端网络模型的参数进行更新，返回通过样本数据对更新后的终端网络模型进行训练，得到第二终端网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。
[0025]可选的，接收一个或多个终端发送的当前的数据；计算获取当前的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端边云联邦学习模型训练系统，其特征在于，所述系统包括多个终端、多个边缘端；各所述终端，用于向一个或多个边缘端发送样本数据；各所述边缘端，用于接收一个或多个终端发送的样本数据；计算获取各所述样本数据的成本；根据获取各所述样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；根据所述样本数据对待训练的联邦学习模型进行训练，直至满足所述目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；各所述终端，还用于接收一个或多个边缘端反馈数据获取信息；根据所述数据获取信息向一个或多个边缘端发送当前的数据；各所述边缘端，还用于接收一个或多个终端发送的当前的数据；计算获取所述当前的数据的成本；根据获取所述当前的数据的成本、所述样本数据的成本、所述预设的不同准确率对应的联邦学习成本和所述预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新所述目标准确率，并对所述联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使所述终端向各所述边缘端发送当前的数据，并根据所述当前的数据进行训练，若是，则得到训练好的联邦学习模型。2.根据权利要求1所述的系统，其特征在于，所述系统还包括云端，各所述边缘端，具体用于通过所述样本数据和所述当前的数据对所述联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型；将所述第一终端网络模型的参数发送至所述云端；所述云端，用于对各所述边缘端发送的所述第一终端网络模型的参数进行整合，得到第一整合参数；将所述第一整合参数反馈至各所述边缘端；各所述边缘端，具体用于接收并根据所述第一整合参数对所述第一终端网络模型的参数进行更新；通过所述样本数据和所述当前的数据对更新后的联邦学习模型进行训练，得到第二终端网络模型；将所述第二终端网络模型的参数发送至所述云端，以使所述云端对各所述边缘端发送的第二终端网络模型的参数进行整合，得到并将第二整合参数反馈至各所述边缘端；利用所述第二整合参数对所述第二终端网络模型的参数进行更新，返回所述通过所述样本数据对更新后的终端网络模型进行训练，得到第二终端网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。3.根据权利要求1所述的系统，其特征在于，各所述边缘端，具体用于接收所述当前的数据；计算所述当前的数据的购买成本和传输成本，所述样本数据的购买成本和传输成本；根据所述当前的数据的购买成本和传输成本、所述样本数据的购买成本和传输成本、所述预设的不同准确率对应的联邦学习成本和所述预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型；对所述不同模型准确率对应的联邦学习模型的总训练成本模型进行求解，计算总训练成本最低时的模型准确率，并根据计算结果更新所述目标准确率，并对所述联邦学习模型进行训练。4.根据权利要求2所述的系统，其特征在于，
各所述边缘端，还用于从所述云端下载所述待训练的联邦学习模型。5.一种端边云联邦学习模型训练方法，其特征在于，所述方法应用于端边云联邦学习模型训练系统，所述系统包括多个终端、多个边缘端；通过各所述终端向一个或多个边缘端发送样本数据；通过各所述边缘端接收一个或多个终端发送的样本数据；通过各所述边缘端计算获取各所述样本数据的成本；根据获取各所述样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；通过各所述边缘端根据所述样本数据对待训练的联邦学习模型进行训练，直至满足所述目标准确率；通过各所述边缘端判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；通过各所述边缘端接收一个或多个边缘端反馈数据获取信息；根据所述数据获取信息向一个或多个边缘端发送当前的数据；通过各所述边缘端接收一个或多个终端发送的当前的数据；计算获取所述当前的数据的成本；根据获取所述当前的数据的成本、所述样本数据的成本、所述预设的不同准确率对应的联邦学习成本和所述...

【专利技术属性】
技术研发人员：朱孔林，陈文韬，张琳，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：