一种模型训练方法、系统以及相关装置制造方法及图纸

一种模型训练方法、系统以及相关装置。在该方法中，可以将多个电子设备组成传感联邦，传感联邦中的各个电子设备分别提供训练数据给联邦管理中心，联邦管理中心可以利用训练数据训练模型。这样，可以训练出更为精准的模型。可以训练出更为精准的模型。可以训练出更为精准的模型。

【技术实现步骤摘要】
一种模型训练方法、系统以及相关装置


[0001]本申请涉及电子设备及数据处理领域，尤其涉及一种模型训练方法、系统以及相关装置。

技术介绍

[0002]人工智能技术(artificialintelligence，AI)以及人工智能物联网技术(artificialintelligence&Internetofthings，AIOT)及应用已经在多领域场景取得突破性进展，正迅速改变经济及生活方式。在AI技术和AIOT技术的基础上，多个电子设备可以互联互通。其中，一些电子设备中可以具备一些算法模型，该算法模型能够根据各种数据(例如当前用户状态(运动、静止)、用户年龄等等数据)，来调整电子设备的工作状态，以便于给用户带来更好的体验。例如，具备环境光采集传感器的智能电灯，可以根据环境光数据来调整智能电灯的亮度等。
[0003]当前，电子设备中的算法模型都需要经过训练来提高算法模型的鲁棒性和准确率。但是，对于单一的电子设备能够提供的训练数据或者资源(计算资源或存储资源)有限。并且，用户不希望自己电子设备中的隐私数据被泄露或提供给其他用户的电子设备。这样，一个用户的电子设备可能获取到另一个用户中的某些类型的数据。但是一个用户的电子设备中用于训练模型的数据有限。而当电子设备中的算法模型的训练数据不足时，该算法模型的准确率会大受影响。
[0004]由此，如何利用多个电子设备中的数据来训练算法模型，以及提高算法模型的准确率，是亟待解决的问题。

技术实现思路

[0005]本申请提供了一种模型训练方法、系统以及相关装置，通过本申请实施例提供的模型训练方法，可以利用传感联邦中的多个设备联合执行模型训练，可以提高模型的准确率。
[0006]第一方面，本申请提供了一种模型训练方法，该模型训练方法可以应用于模型训练系统，该模型训练系统中可以包括第一联邦管理中心、以及第一联邦管理中心关联的多个设备；其中，该模型训练方法可以包括：第一联邦管理中心基于模型训练任务，以及多个设备的设备能力信息，确定执行模型训练任务的一个或多个设备；第一联邦管理中心指示一个或多个设备获取一个或多个传感数据，联合执行模型训练任务。
[0007]其中，设备能力信息包括设备的计算能力、存储能力、传感能力信息中的一项或多项；传感能力信息用于指示设备中包括的传感数据、以及传感数据的精度。
[0008]其中，第一联邦管理中心部署在一个设备或分布式地部署在模型训练系统中的多个设备中，设备包括电子设备、服务器。
[0009]其中，与第一联邦管理中心关联的多个设备可以指，与第一联邦管理中心所在的设备建立有通信连接的设备。第一联邦管理中心和、与第一关联关联中心关联的多个设备
可以组成一个传感联邦。该传感联邦可以称子传感联邦。
[0010]这样，可以利用传感联邦中的多个设备联合执行模型训练，能够获取到不同设备中的训练数据，可以提高模型的准确率。
[0011]结合第一方面，在一种可能的实现方式中，一个或多个设备中包括第一设备，一个或多个传感数据中包括第一传感数据，第一联邦管理中心指示一个或多个设备获取一个或多个传感数据，联合执行模型训练任务，包括：第一联邦管理中心指示第一设备提供第一传感数据。
[0012]这样，联邦管理中心指示传感联邦中的设备提供模型训练任务中所需训练的模型的训练数据。
[0013]结合第一方面，在一种可能的实现方式中，一个或多个设备中还包括第二设备，第一联邦管理中心指示一个或多个设备获取一个或多个传感数据，联合执行所述模型训练任务，包括：第一联邦管理中心指示第一设备提供第一传感数据；第一联邦管理中心指示第二设备提供计算能力，并指示第二设备对第一传感数据进行计算。
[0014]这样，传感联邦中的计算资源充足的设备可以为计算资源不够充足的设备提供计算能力。当传感联邦中第一设备计算资源不足时，第一设备也可以参与模型训练。
[0015]结合第一方面，在一种可能的实现方式中，一个或多个设备中还包括第三设备，第一联邦管理中心指示一个或多个设备获取一个或多个传感数据，联合执行所述模型训练任务，包括：第一联邦管理中心指示第一设备提供第一传感数据；第一联邦管理中心指示第二设备提供计算能力，并指示第二设备对第一传感数据进行计算，得到第一计算结果；第一联邦管理中心指示第三设备提供存储能力，并指示第三设备存储第一计算结果、和/或第一传感数据。
[0016]这样，传感联邦中的一些设备提供训练数据，一些设备提供计算资源、一些设备提供存储资源，联合执行模型训练任务。这样，可以使得传感联邦中能够提供训练数据、但不具有计算资源和存储资源的设备也能够参与到模型训练。并且，还可以使得只能提供计算资源、和/或存储资源的设备，不能够提供训练数据的设备也能够参与到模型训练。
[0017]结合第一方面，在一种可能的实现方式中，多个设备中包括提供第二传感数据的第四设备，第一联邦管理中心基于模型训练任务，以及多个设备的设备能力信息，确定执行模型训练任务的一个或多个设备，包括：第一联邦管理中心基于模型训练任务，以及设备的设备能力信息，确定提供模型训练任务中所需的第一传感数据的第一设备，和提供模型训练任务中所需的第二传感数据的第四设备。
[0018]这样，联邦管理中心可以利用不同设备提供的多个维度的训练数据，训练出更精准的模型。
[0019]结合第一方面，在一种可能的实现方式中，第一联邦管理中心基于模型训练任务，以及设备的设备能力信息，确定提供模型训练任务中所需的第一传感数据的第一设备，和提供模型训练任务中所需的第二传感数据的第四设备，包括：第一联邦管理中心基于模型训练任务中所需的第一传感数据和第二传感数据，将模型训练任务分解为第一训练子任务和第二训练子任务；第一训练任务用于指示一个或多个设备提供第一传感数据；第二训练子任务用于指示一个或多个设备提供第二传感数据；第一联邦管理中心基于第一传感数据和第二传感数据，多个设备的设备能力信息，确定多个设备中的第一设备执行第一训练子
任务、多个设备中的第四设备执行第二训练子任务。
[0020]这样，联邦管理中心可以将模型训练分解为训练子任务，可以让各个设备各自完成训练子任务。
[0021]结合第一方面，在一种可能的实现方式中，第一联邦管理中心基于模型训练任务，以及多个设备的设备能力信息，确定执行模型训练任务的一个或多个设备，包括：第一联邦管理中心解析出模型训练任务中所需训练的第一模型，确定第一模型的输入数据包括第一传感数据和第二传感数据；第一模型的输出为第三传感数据；第一联邦管理中心基于所需训练的第一模型，多个设备的设备能力信息，确定多个设备中的第一设备执行第三训练子任务、多个设备中的第四设备执行第四训练子任务；其中，第三训练子任务用于训练第一子模型，第一子模型的输入数据为第一传感数据，第一子模型的输出为第三传感数据；第四训练子任务用于训练第二子模型，第二子模型的输入数据为第二传感数据，第二子模型的输出为第三传感数据。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述模型训练方法应用于模型训练系统，所述模型训练系统包括第一联邦管理中心以及所述第一联邦管理中心关联的多个设备；其中，所述方法包括：所述第一联邦管理中心基于模型训练任务，以及所述多个设备的设备能力信息，确定执行所述模型训练任务的一个或多个设备；所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据，联合执行所述模型训练任务。2.根据权利要求1所述的方法，其特征在于，所述设备能力信息包括设备的计算能力、存储能力、传感能力信息中的一项或多项；所述传感能力信息用于指示设备中包括的传感数据、以及传感数据的精度。3.根据权利要求1所述的方法，其特征在于，所述第一联邦管理中心部署在一个设备或分布式地部署在所述模型训练系统中的多个设备中，所述设备包括电子设备、服务器。4.根据权利要求3所述的方法，其特征在于，所述一个或多个设备中包括第一设备，所述一个或多个传感数据中包括第一传感数据，所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据，联合执行所述模型训练任务，包括：所述第一联邦管理中心指示所述第一设备提供所述第一传感数据。5.根据权利要求4所述的方法，其特征在于，所述一个或多个设备中还包括第二设备，所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据，联合执行所述模型训练任务，包括：所述第一联邦管理中心指示所述第一设备提供所述第一传感数据；所述第一联邦管理中心指示所述第二设备提供计算能力，并指示所述第二设备对所述第一传感数据进行计算。6.根据权利要求5所述的方法，其特征在于，所述一个或多个设备中还包括第三设备，所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据，联合执行所述模型训练任务，包括：所述第一联邦管理中心指示所述第一设备提供所述第一传感数据；所述第一联邦管理中心指示所述第二设备提供计算能力，并指示所述第二设备对所述第一传感数据进行计算，得到第一计算结果；所述第一联邦管理中心指示所述第三设备提供存储能力，并指示所述第三设备存储第一计算结果和/或所述第一传感数据。7.根据权利要求6所述的方法，其特征在于，所述多个设备中包括提供第二传感数据的第四设备，所述第一联邦管理中心基于模型训练任务，以及所述多个设备的设备能力信息，确定执行所述模型训练任务的一个或多个设备，包括：所述第一联邦管理中心基于模型训练任务，以及所述设备的设备能力信息，确定提供所述模型训练任务中所需的第一传感数据的所述第一设备，和提供所述模型训练任务中所需的第二传感数据的所述第四设备。8.根据权利要求7所述的方法，其特征在于，所述第一联邦管理中心基于模型训练任务，以及所述设备的设备能力信息，确定提供所述模型训练任务中所需的第一传感数据的所述第一设备，和提供所述模型训练任务中所需的第二传感数据的所述第四设备，包括：
所述第一联邦管理中心基于所述模型训练任务中所需的第一传感数据和第二传感数据，将所述模型训练任务分解为第一训练子任务和第二训练子任务；所述第一训练任务用于指示一个或多个设备提供所述第一传感数据；所述第二训练子任务用于指示一个或多个设备提供所述第二传感数据；所述第一联邦管理中心基于所述第一传感数据和所述第二传感数据，所述多个设备的设备能力信息，确定所述多个设备中的第一设备执行第一训练子任务、所述多个设备中的第四设备执行所述第二训练子任务。9.根据权利要求7所述的方法，其特征在于，所述第一联邦管理中心基于所述模型训练任务，以及所述多个设备的设备能力信息，确定执行所述模型训练任务的一个或多个设备，包括：所述第一联邦管理中心解析出所述模型训练任务中所需训练的第一模型，确定所述第一模型的输入数据包括第一传感数据和第二传感数据；所述第一模型的输出为第三传感数据；所述第一联邦管理中心基于所述所需训练的第一模型，所述多个设备的设备能力信息，确定所述多个设备中的第一设备执行第三训练子任务、所述多个设备中的第四设备执行所述第四训练子任务；其中，所述第三训练子任务用于训练第一子模型，所述第一子模型的输入数据为所述第一传感数据，所述第一子模型的输出为所述第三传感数据；所述第四训练子任务用于训练第二子模型，所述第二子模型的输入数据为所述第二传感数据，所述第二子模型的输出为所述第三传感数据。10.根据权利要求9所述的方法，其特征在于，所述第一联邦管理中心指示所述一个或多个设备获取一个或多个传感数据，联合执行所述模型训练任务，包括：所述第一联邦管理中心指示所述第一设备执行所述第一训练子任务，指示所述第四设备执行所述第二训练子任务。11.根据权利要求10所述的方法，其特征在于，所述第一联邦管理中心指示所述第一设备执行所述第一训练子任务，指示所述第二设备执行所述第二训练子任务之后，所述方法还包括：所述第一联邦管理中心接收到所述第一设备发送的第一子模型或第一子模型的参数，所述第二设备发送的第二子模型；所述第一联邦管理中心基于所述第一子模型和所述第二子模型，得到所述第二模型，所述第二模型的输入数据包括第一传感数据和第二传感数据；所述第二模型的输出为第三传感数据；在所述模型训练系统中，所述第二模型的精度高于所述第一模型的精度。12.根据权利要求1
‑
11任一项所述的方法，其特征在于，所述模型训练系统还包括模型探索中心，所述第一联邦管理中心基于模型训练任务，以及所述多个设备的设备能力信息，确定执行所述模型训练任务的一个或多个设备，包括：所述第一联邦管理中心接收所述模型探索中心发送的所述模型训练任务，所述模型探索中心部署在服务器。13.根据权利要求12所述的方法，其特征在于，所述方法还包括：所述模型探索中心向所述第一联邦管理中心发送联邦学习任务；所述第一联邦管理中心基于所述联邦学习任务、以及所述一个或多个电子设备的设备
能力信息，确定执行所述联邦学习任务的一个或多个电子设备；所述第一联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行所述联邦学习任务，并获取所述联邦学习任务的第一联邦学习结果；所述第一联邦管理中心将所述第一联邦学习结果发送给所述模型探索中心；所述模型探索中心基于所述第一联邦学习结果，调整所述联邦学习任务中所需学习的模型。14.根据权利要求12所述的方法，其特征在于，所述模型训练系统还包括第二联邦管理中心，和所述第二联邦管理中心关联的多个设备；所述方法还包括：所述模型探索中心向所述第一联邦管理中心和所述第二联邦管理中心发送联邦学习任务；所述第一联邦管理中心基于所述联邦学习任务、以及所述一个或多个电子设备的设备能力信息，确定执行所述联邦学习任务的一个或多个电子设备，所述第二联邦管理中心基于所述联邦学习任务、以及所述一个或多个电子设备的设备能力信息，确定执行所述联邦学习任务的一个或多个电子设备；所述第一联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行所述联邦学习任务，并获取所述联邦学习任务的第一联邦学习结果，所述第二联邦管理中心指示一个或多个电子设备获取一个或多个传感数据联合执行所述联邦学习任务，并获取所述联邦学习任务的第二联邦学习结果；所述第一联邦管理中心将所述第一联邦学习结果发送给所述模型探索中心，所述第二联邦管理中心将所述第二联邦学习结果发送给所述模型探索中心；所述模型探索中心基于所述第一联邦学习结果和所述第二联邦学习结果，调整所述联邦学习任务中所需学习的模型。15.根据权利要求14所述的方法，其特征在于，所述第一联邦学习结果包括与所述第一联邦管理中心关联的一个或多个设备对所述联邦学习任务中所需学习的模型的参数进行计算得到的计算结果；所述第二联邦学习结果包括与所述第二联邦管理中心关联的一个或多个设备对所述联邦学习任务中所需学习的模型的参数进行计算得到的计算结果。16.根据权利要求10所述的方法，其特征在于，所述第一联邦管理中心指示所述第一设备执行所述第一训练子任务，指示所述第四设备执行所述第二训练子任务之后，所述方法还包括：...

【专利技术属性】
技术研发人员：王成录，宋超领，高翔宇，吴金娴，周昕宇，王翃宇，黄维，王松涛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：