【技术实现步骤摘要】
本申请涉及联合学习，特别涉及一种联合学习方法、装置、服务端及存储介质。
技术介绍
1、联合学习是一种机器学习设定，许多客户端在中央服务器的协调下共同训练模型，同时保持训练数据的去中心化及分散性。联合学习的长期目标是不暴露数据的情况下分析和学习多个数据拥有者的数据。
2、相关技术中联邦学习框架包含自动调参部分，框架中自主实现了随机搜索和网格搜索算法和多保真优化算法。然而，相关技术中联邦学习框架通常在一次完整的联合训练之后，进行超参数优化，导致整个训练过程中时间成本过高，效率较低。
技术实现思路
1、本申请提供一种联合学习方法、装置、服务端及存储介质，以解决相关技术中通常在一次完整的联合训练之后调整超参数，导致联合学习的时长成本较高，效率低等问题。
2、本申请第一方面实施例提供一种联合学习方法，包括以下步骤：获取联合学习任务的全局模型、超参数矩阵和超参数采样策略；在每轮联合学习任务训练时，下发所述全局模型给参与所述联合学习任务的客户端，根据所述超参数采样策略为每个客户端选取所述超参数矩阵中的超参数；在每轮联合学习任务结束时，获取所述每个客户端的本地更新模型和本地更新超参数，根据所述本地更新超参数更新所述超参数矩阵，根据所述每个客户端的本地更新模型更新所述超参数采样策略，根据聚合后的每个客户端的本地更新模型更新所述全局模型，直到所述全局模型满足所述联合学习任务的目标时，结束所述联合学习任务。
3、可选地，所述超参数采样策略包括：获取所述超参数矩阵中每个
4、可选地，在根据所述超参数采样策略为每个客户端选取所述超参数矩阵中的超参数之前，还包括：获取所述超参数矩阵中超参数的数量；根据所述超参数的数量确定每个超参数的初始选取概率。
5、可选地，所述根据所述每个客户端的本地更新模型更新所述超参数采样策略，包括：获取所述每个客户端的本地更新模型的模型精度；若所述模型精度小于预设精度，则降低对应本地更新超参数的选取概率，否则增大对应本地更新超参数的选取概率。
6、可选地，所述根据所述每个客户端的本地更新模型更新所述超参数采样策略，包括：获取所述每个客户端的本地更新模型的训练损失值；若所述训练损失值大于预设损失值，则降低对应本地更新超参数的选取概率，否则增大对应本地更新超参数的选取概率。
7、可选地，在每轮联合学习任务结束时，还包括：淘汰当前轮参与所述联合学习任务的客户端中不满足预设条件的客户端，以减少下一轮参与所述联合学习任务的客户端的数量。
8、可选地，所述预设条件包括：当前轮参与所述联合学习任务的客户端中，本地更新模型的模型精度小于平均精度；或者，当前轮参与所述联合学习任务的客户端中，本地更新模型的训练损失值大于平均损失值。
9、本申请第二方面实施例提供一种联合学习装置，包括：获取模块，用于获取联合学习任务的全局模型、超参数矩阵和超参数采样策略；选取模块，用于在每轮联合学习任务训练时，下发所述全局模型给参与所述联合学习任务的客户端，根据所述超参数采样策略为每个客户端选取所述超参数矩阵中的超参数；更新模块，用于在每轮联合学习任务结束时，获取所述每个客户端的本地更新模型和本地更新超参数，根据所述本地更新超参数更新所述超参数矩阵，根据所述每个客户端的本地更新模型更新所述超参数采样策略，根据聚合后的每个客户端的本地更新模型更新所述全局模型，直到所述全局模型满足所述联合学习任务的目标时，结束所述联合学习任务。
10、可选地，所述超参数采样策略包括：获取所述超参数矩阵中每个超参数的选取概率；根据所述每个超参数的选取概率为所述每个客户端选取超参数。
11、可选地，所述联合学习装置还包括：确定模块，用于在根据所述超参数采样策略为每个客户端选取所述超参数矩阵中的超参数之前，获取所述超参数矩阵中超参数的数量；根据所述超参数的数量确定每个超参数的初始选取概率。
12、可选地，所述更新模块进一步用于：获取所述每个客户端的本地更新模型的模型精度；若所述模型精度小于预设精度，则降低对应本地更新超参数的选取概率，否则增大对应本地更新超参数的选取概率。
13、可选地，所述更新模块进一步用于：获取所述每个客户端的本地更新模型的训练损失值；若所述训练损失值大于预设损失值，则降低对应本地更新超参数的选取概率，否则增大对应本地更新超参数的选取概率。
14、可选地，所述更新模块进一步用于：淘汰当前轮参与所述联合学习任务的客户端中不满足预设条件的客户端，以减少下一轮参与所述联合学习任务的客户端的数量。
15、可选地，所述预设条件包括：当前轮参与所述联合学习任务的客户端中，本地更新模型的模型精度小于平均精度；或者，当前轮参与所述联合学习任务的客户端中，本地更新模型的训练损失值大于平均损失值。
16、本申请第三方面实施例提供一种服务端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的联合学习方法。
17、本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的联合学习方法。
18、由此，本申请至少具有如下有益效果：
19、本申请实施例可以在每次联合学习任务的迭代执行过程中优化超参数，在执行完成一次完整的联合学习任务后完成超参数的优化，无需在一次完整的联合训练之后调整超参数，从而通过在联合学习任务过程中进行调参，可以大大降低联合学习所需的时间，时间成本较低，且大大提升了联合学习的效率。由此，解决了相关技术中通常在一次完整的联合训练之后调整超参数，导致联合学习的时长成本较高，效率低等技术问题。
20、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
本文档来自技高网...【技术保护点】
1.一种联合学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的联合学习方法，其特征在于，所述超参数采样策略包括：
3.根据权利要求1或2所述的联合学习方法，其特征在于，在根据所述超参数采样策略为每个客户端选取所述超参数矩阵中的超参数之前，还包括：
4.根据权利要求1所述的联合学习方法，其特征在于，所述根据所述每个客户端的本地更新模型更新所述超参数采样策略，包括：
5.根据权利要求1所述的联合学习方法，其特征在于，所述根据所述每个客户端的本地更新模型更新所述超参数采样策略，包括：
6.根据权利要求1所述的联合学习方法，其特征在于，在每轮联合学习任务结束时，还包括：
7.根据权利要求6所述的联合学习方法，其特征在于，所述预设条件包括：
8.一种联合学习装置，其特征在于，包括：
9.一种服务端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的联合学习方法。
10.一种计算
...【技术特征摘要】
1.一种联合学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的联合学习方法，其特征在于，所述超参数采样策略包括：
3.根据权利要求1或2所述的联合学习方法，其特征在于，在根据所述超参数采样策略为每个客户端选取所述超参数矩阵中的超参数之前，还包括：
4.根据权利要求1所述的联合学习方法，其特征在于，所述根据所述每个客户端的本地更新模型更新所述超参数采样策略，包括：
5.根据权利要求1所述的联合学习方法，其特征在于，所述根据所述每个客户端的本地更新模型更新所述超参数采样策略，包括：
6...
【专利技术属性】
技术研发人员：张敏，赵凡，
申请(专利权)人：新奥新智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。