本申请提供一种人工智能领域的联邦学习方法、装置及系统，用于在进行联邦学习的过程中，通过对客户端反馈的端侧模型的参数维度进行变换，来适应客户端数据异构的场景。该方法包括：首先，服务器获取第一模型集合，第一模型集合中的多个端侧模型的至少一种参数的维度不相同；服务器对多个端侧模型中的至少一个端侧模型的该至少一种参数的维度进行变换，变换模型和未变换的模型组成第二模型集合，第二模型集合中的模型的至少一种参数的维度相同，该至少一种参数包括了多个端侧模型中需要进行聚合的参数；随后服务器对第二模型集合中的模型进行聚合，得到第一全局模型；服务器向至少一个客户端下发第一全局模型的信息。一个客户端下发第一全局模型的信息。一个客户端下发第一全局模型的信息。
【技术实现步骤摘要】
一种联邦学习方法以及装置
[0001]本申请涉及人工智能领域，尤其涉及一种联邦学习方法以及装置。
技术介绍
[0002]联邦学习(Federated Learning)是针对“数据孤岛”的存在而提出的一种机器学习框架，能够有效帮助各参与方(客户端)在无需共享数据资源，即训练数据不出本地的情况下，进行联合训练，建立共享的机器学习模型。
[0003]联邦强化学习方法，在传统联邦学习的基础上引入强化学习，客户端将训练好的客户端本地强化学习策略模型上传给云服务器进行聚合得到全局模型。然而，各个不同的客户端可能存在数据异构的问题，各个不同的客户端得到的模型所适应的数据结构可能不相同，将导致云服务器聚合得到的模型效果不佳。
技术实现思路
[0004]本申请提供一种联邦学习方法以及装置，用于在进行联邦学习的过程中，通过对客户端反馈的端侧模型的参数维度进行变换，来适应客户端数据异构的场景。
[0005]有鉴于此，第一方面，本申请提供一种联邦学习方法，包括：首先，服务器获取第一模型集合，第一集合中包括至少一个客户端反馈的多个端侧模型的信息，该多个端侧模型的至少一种参数的维度不相同；服务器对多个端侧模型中的至少一个端侧模型的该至少一种参数的维度进行变换，得到一一对应的至少一个变换模型，该至少一个变换模型和第一模型集合中未经过变换的模型组成第二模型集合，第二模型集合中的模型的至少一种参数的维度相同，该至少一种参数包括了多个端侧模型中需要进行聚合的参数；随后服务器对第二模型集合中的模型进行聚合，得到第一全局模型；服务器向至少一个客户端下发第一全局模型的信息。
[0006]因此，本申请实施方式中，服务器可以对端侧模型的参数维度进行变换，从而使变换后的端侧模型之间需要聚合的部分参数维度相同，以便于后续可以对维度相同的模型进行聚合，从而可以适应客户端数据异构的场景，即使在客户端数据异构的场景下也可以聚合得到输出效果更好的全局模型。
[0007]在一种可能的实施方式中，在服务器向客户端下发第一全局模型时，可以对第一全局模型的参数维度进行变换，从而使变换后的第一全集模型的参数维度与客户端的数据结构匹配，使客户端可以对该变换后的全局模型进行强化学习。
[0008]在一种可能的实施方式中，多个端侧模型的信息包括观测状态空间或动作维度空间中的至少一种，观测状态空间包括状态信息，动作维度空间中包括任务相关的动作信息。
[0009]因此，本申请实施方式中，客户端可以向服务器反馈Q表，后续服务器可以对不同维度的Q表进行维度变换，从而适应客户端反馈Q表的场景。
[0010]在一种可能的实施方式中，服务器对多个端侧模型中的至少一个端侧模型的至少一种参数的维度进行变换，得到第二模型集合，可以包括：服务器对至少一个端侧模型对应
的观测状态空间或动作维度空间的维度进行拉伸或者压缩，得到第二模型集合。
[0011]因此，本申请实施方式中，服务器可以对第一模型集合中的一个或者多个模型的参数维度进行变换，对参数维度进行拉伸或者压缩，从而得到维度相同的模型，以便于进行后续的聚合。
[0012]在一种可能的实施方式中，在服务器获取至少一个客户端的多个端侧模型的信息之前，方法还可以包括：服务器向至少一个客户端下发第二全局模型，第二全局模型用于至少一个客户端使用本地保存的数据进行强化学习，得到多个端侧模型。客户端在接收到全局模型之后，可以直接使用本地保存的数据对该全集模型进行强化学习，也可以对接收到的全局模型和本地保存的模型进行融合之后再进行强化学习。
[0013]因此，本申请实施方式中，服务器可以向客户端下发全局模型，以使客户端可以对最新的全局模型进行强化学习。
[0014]在一种可能的实施方式中，服务器向至少一个客户端下发第一全局模型的信息，可以包括：服务器获取第一全局模型和第二全局模型之间的残差，得到残差项；服务器向至少一个客户端发送残差项。
[0015]本申请实施方式中，残差项在迭代前期包含全局Q值的信息，有助于前期加速收敛，随着迭代过程进行，残差项逐渐减小，不影响客户端的性能，从而可以提高最终得到的全局模型的输出效果。
[0016]在一种可能的实施方式中多个端侧模型为至少一个客户端结合距离约束使用本地保存的数据进行强化学习得到，距离约束包括至少一个客户端本地保存的模型和第二全局模型之间的距离形成的约束。
[0017]因此，本申请实施方式中，距离约束使得客户端能够寻找与服务器下发的全局模型有差异的适应于该客户端本地数据集的模型的个性化模型，能够缓解联邦学习不同客户端数据异构性带来联邦学习训练困难。
[0018]在一种可能的实施方式中，服务器对第二模型集合中的模型进行聚合，得到第一全局模型，可以包括：服务器根据预先设定的衰减因子对第二模型集合中的模型进行聚合，得到第一全局模型，从而提高最终得到的全局模型的输出精度。
[0019]第二方面，本申请提供一种联邦学习方法，包括：客户端接收服务器下发的第二全局模型，并使用本地保存的数据对该第二全局模型进行强化学习，得到端侧模型；随后客户端向服务器反馈端侧模型，以使服务器可以对接收到的对第一模型集合中的多个端侧模型中的至少一个端侧模型的至少一种参数的维度进行变换，得到一一对应的至少一个变换模型，该至少一个变换模型和第一模型集合中未经过变换的模型组成第二模型集合，第二模型集合中的模型的至少一种参数的维度相同，该至少一种参数包括了多个端侧模型中需要进行聚合的参数；随后服务器对第二模型集合中的模型进行聚合，得到第一全局模型；随后客户端接收服务器下发的第一全局模型的信息。
[0020]在一种可能的实施方式中，客户端可以对接收到的第一全局模型的参数维度进行变换，如拉伸或者压缩，从而使变换后的第一全局模型的参数维度与客户端本地保存的数据结构匹配。
[0021]在一种可能的实施方式中，端侧模型的信息可以包括观测状态空间或动作维度空间中的至少一种，观测状态空间包括状态信息，动作维度空间中包括任务相关的动作信息。
[0022]在一种可能的实施方式中，客户端接收服务器下发的第一全局模型的信息具体可以包括：在服务器获取第一全局模型和第二全局模型之间的残差得到残差项之后，客户端接收服务器向客户端发送的残差项，客户端可以基于该残差项和第二全局模型得到最新的第一全局模型。
[0023]在一种可能的实施方式中，客户端结合距离约束使用本地保存的数据进行强化学习得到，距离约束包括至少一个客户端本地保存的模型和第二全局模型之间的距离形成的约束。
[0024]第三方面，本申请实施例提供一种联邦学习装置，该联邦学习装置具有实现上述第一方面联邦学习方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
[0025]第四方面，本申请实施例提供一种联邦学习装置，该联邦学习装置具有实现上述第二方面联邦学习方法的功能。该功能可以通过硬件实现，也可以通过硬件执行本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种联邦学习方法，其特征在于，包括：服务器获取第一模型集合，所述第一集合中包括至少一个客户端的多个端侧模型的信息，所述多个端侧模型的至少一种参数的维度不相同；所述服务器对所述多个端侧模型中的至少一个端侧模型的所述至少一种参数的维度进行变换,得到至少一个变换模型，第二模型集合中包括所述至少一个变换模型和所述第一模型集合中未经过变换的模型，所述第二模型集合中的模型的所述至少一种参数的维度相同；所述服务器对所述第二模型集合中的模型进行聚合，得到第一全局模型；所述服务器向所述至少一个客户端下发所述第一全局模型的信息。2.根据权利要求1所述的方法，其特征在于，所述多个端侧模型的信息包括观测状态空间或动作维度空间中的至少一种，所述观测状态空间包括状态信息，所述动作维度空间中包括任务相关的动作信息。3.根据权利要求2所述的方法，其特征在于，所述服务器对所述多个端侧模型中的至少一个端侧模型的至少一种参数的维度进行变换，得到第二模型集合，包括：所述服务器对所述至少一个端侧模型对应的所述观测状态空间或所述动作维度空间的维度进行拉伸或者压缩，得到所述第二模型集合。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，在所述服务器获取至少一个客户端的多个端侧模型的信息之前，所述方法还包括：所述服务器向所述至少一个客户端下发第二全局模型，所述第二全局模型用于所述至少一个客户端使用本地保存的数据进行强化学习，得到所述多个端侧模型。5.根据权利要求4所述的方法，其特征在于，所述服务器向所述至少一个客户端下发所述第一全局模型的信息，包括：所述服务器获取所述第一全局模型和所述第二全局模型之间的残差，得到残差项；所述服务器向所述至少一个客户端发送所述残差项。6.根据权利要求4或5所述的方法，其特征在于，所述多个端侧模型为所述至少一个客户端结合距离约束使用本地保存的数据进行强化学习得到，所述距离约束包括所述至少一个客户端本地保存的模型和所述第二全局模型之间的距离形成的约束。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述服务器对所述第二模型集合中的模型进行聚合，得到第一全局模型，包括：所述服务器根据预先设定的衰减因子对所述第二模型集合中的模型进行聚合，得到所述第一全局模型。8.一种联邦学习装置，其特征在于，包括：获取模块，用于获取第一模型集合，所述第一集合中包括至少一个客户端的多个端侧模型的信息，所述多个端侧模型的至少一种参数的维...
【专利技术属性】
技术研发人员：李银川，邵云峰，王浩智，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。