一种基于联邦多任务学习的模型训练方法、装置及设备制造方法及图纸

本说明书公开了一种基于联邦多任务学习的模型训练方法、装置及设备，中心服务器将各客户端对应的初始模型参数发送给各客户端，以使各客户端对基于各自的初始模型参数得到的模型进行训练，并将训练后的模型的优化模型参数返回给中心服务器，中心服务器根据各客户端对应的优化模型参数，确定各客户端对应的对优化模型参数进行加权的权重，并根据各客户端对应的对各优化模型参数进行加权的权重，确定适用于各客户端的模型参数，得到适用于各客户端的模型。由于各客户端的数据分布存在差异，因此本方法在模型的每次迭代训练过程中，根据权重确定各客户端的模型参数，使得各客户端得到更加泛化的模型的同时，可得到适用于各自数据分布的个性化模型。分布的个性化模型。分布的个性化模型。

【技术实现步骤摘要】
一种基于联邦多任务学习的模型训练方法、装置及设备


[0001]本申请涉及计算机
，尤其涉及一种基于联邦多任务学习的模型训练方法、装置及设备。

技术介绍

[0002]随着科技的飞速发展，机器学习模型得到广泛应用。其中，联邦学习是模型的分布式训练中的一种，联邦学习框架中包括一个中心服务器和多个参与训练的客户端，其主要目的是保护各客户端中的隐私数据不泄露。
[0003]一般的，在实际应用场景中，各客户端的数据分布不同，也即每个客户端的数据都具一定特点。例如：在对一本小说进行打分时，由于每个人的喜好、教育背景的差异等，对该本小说的打分不同，并且不同客户端适应的人群不同，那么每个客户端中的数据分布是不同的，具有其自身的特性，因此，如何基于联邦学习进行模型的训练，以使得各参与训练的客户端可以得到适用于其本身数据分布的更加精准的模型是一个重点问题。
[0004]基于此，本申请说明书提供了一种基于联邦多任务学习的模型训练方法。

技术实现思路

[0005]本说明书提供一种基于联邦多任务学习的模型训练方法、装置、存储介质及电子设备，以至少部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：本说明书提供了一种基于联邦多任务学习的模型训练方法，所述方法应用于分布式系统中的中心服务器，所述方法包括：向各客户端发送所述各客户端各自对应的初始模型参数，以使所述各客户端分别对根据各自对应的初始模型参数得到的待训练模型进行训练，得到所述各客户端对应的待训练模型的优化模型参数；接收所述各客户端发送的所述各客户端对应的优化模型参数；针对每个客户端，根据该客户端对应的优化模型参数，确定该客户端对其他客户端对应的优化模型参数进行加权的权重；根据确定出的该客户端对其他客户端对应的优化模型参数进行加权的权重以及所述各客户端对应的优化模型参数，确定该客户端对应的加权优化参数；将确定出的各客户端对应的加权优化参数重新作为所述各客户端各自对应的初始模型参数，并分别发送至所述各客户端，以使所述各客户端继续对所述各客户端各自对应的待训练模型进行训练。
[0007]可选地，根据该客户端对应的优化模型参数，确定该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度；
根据确定出的该客户端对应的各相似度，确定该客户端对其他客户端对应的优化模型参数进行加权的权重。
[0008]可选地，确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度，具体包括：确定该客户端对应的优化模型参数的参数向量与其他客户端对应的优化模型参数的参数向量之间的欧氏距离矩阵；根据确定出的该客户端对应的欧氏距离矩阵，确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度。
[0009]可选地，确定该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：对该客户端对应的各相似度进行归一化，得到该客户端对其他客户端对应的优化模型参数进行加权的权重。
[0010]可选地，对该客户端对应的各相似度进行归一化，得到该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：使用softmax函数对该客户端对应的各相似度进行归一化，得到所述softmax函数输出各相似度的概率；将所述softmax函数输出各相似度的概率作为该客户端对其他客户端对应的优化模型参数进行加权的权重。
[0011]本说明书提供了一种基于联邦多任务学习的模型训练装置，所述装置应用于分布式系统中的中心服务器，包括：发送模块，用于向各客户端发送所述各客户端各自对应的初始模型参数，以使所述各客户端分别对根据各自对应的初始模型参数得到的待训练模型进行训练，得到所述各客户端对应的待训练模型的优化模型参数；接收模块，用于接收所述各客户端发送的所述各客户端对应的优化模型参数；确定模块，用于针对每个客户端，根据该客户端对应的优化模型参数，确定该客户端对其他客户端对应的优化模型参数进行加权的权重；加权模块，用于根据确定出的该客户端对其他客户端对应的优化模型参数进行加权的权重以及所述各客户端对应的优化模型参数，确定该客户端对应的加权优化参数；训练模块，用于将确定出的各客户端对应的加权优化参数重新作为所述各客户端各自对应的初始模型参数，并分别发送至所述各客户端，以使所述各客户端继续对所述各客户端各自对应的待训练模型进行训练。
[0012]可选地，所述确定模块具体用于，确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度；根据确定出的该客户端对应的各相似度，确定该客户端对其他客户端对应的优化模型参数进行加权的权重。
[0013]可选地，所述确定模块具体用于，确定该客户端对应的优化模型参数的参数向量与其他客户端对应的优化模型参数的参数向量之间的欧氏距离矩阵；根据确定出的该客户端对应的欧氏距离矩阵，确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度。
[0014]可选地，所述确定模块具体用于，对该客户端对应的各相似度进行归一化，得到该
客户端对其他客户端对应的优化模型参数进行加权的权重。
[0015]可选地，所述确定模块具体用于，使用softmax函数对该客户端对应的各相似度进行归一化，得到所述softmax函数输出各相似度的概率；将所述softmax函数输出各相似度的概率作为该客户端对其他客户端对应的优化模型参数进行加权的权重。
[0016]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于联邦多任务学习的模型训练方法。
[0017]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于联邦多任务学习的模型训练方法。
[0018]本说明书采用的上述至少一个技术方案能够达到以下有益效果：在本说明书提供的基于联邦多任务学习的模型训练方法中可以看出，在进行基于联邦多任务学习的模型训练时，中心服务器将各客户端对应的初始模型参数发送给各客户端，以使各客户端对基于各自的初始模型参数得到的模型进行训练，并将训练后的模型的优化模型参数返回给中心服务器，中心服务器可根据各客户端对应的优化模型参数，确定各客户端对应的对优化模型参数进行加权的权重，进而可根据各客户端对应的对各优化模型参数进行加权的权重，确定适用于各客户端的模型参数，从而得到适用于各客户端的模型。
[0019]区别于目前的直接对各优化模型参数取平均值以发送给各客户端的方法，本方法可以使得各客户端得到适用于各自数据分布的个性化模型，因为不同的客户端中的用户不同，用户的喜好、教育背景的差异等会使得各客户端的数据分布不同，那么各客户端的模型学习数据特征时的侧重不同，因此本方法在每次迭代训练过程中，确定对各客户端对应的对优化模型参数进行加权的权重，从而确定各客户端的模型参数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦多任务学习的模型训练方法，其特征在于，所述方法应用于分布式系统中的中心服务器，所述方法包括：向各客户端发送所述各客户端各自对应的初始模型参数，以使所述各客户端分别对根据各自对应的初始模型参数得到的待训练模型进行训练，得到所述各客户端对应的待训练模型的优化模型参数；接收所述各客户端发送的所述各客户端对应的优化模型参数；针对每个客户端，根据该客户端对应的优化模型参数，确定该客户端对其他客户端对应的优化模型参数进行加权的权重；根据确定出的该客户端对其他客户端对应的优化模型参数进行加权的权重以及所述各客户端对应的优化模型参数，确定该客户端对应的加权优化参数；将确定出的各客户端对应的加权优化参数重新作为所述各客户端各自对应的初始模型参数，并分别发送至所述各客户端，以使所述各客户端继续对所述各客户端各自对应的待训练模型进行训练。2.如权利要求1所述的方法，其特征在于，根据该客户端对应的优化模型参数，确定该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度；根据确定出的该客户端对应的各相似度，确定该客户端对其他客户端对应的优化模型参数进行加权的权重。3.如权利要求2所述的方法，其特征在于，确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度，具体包括：确定该客户端对应的优化模型参数的参数向量与其他客户端对应的优化模型参数的参数向量之间的欧氏距离矩阵；根据确定出的该客户端对应的欧氏距离矩阵，确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度。4.如权利要求2所述的方法，其特征在于，确定该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：对该客户端对应的各相似度进行归一化，得到该客户端对其他客户端对应的优化模型参数进行加权的权重。5.如权利要求4所述的方法，其特征在于，对该客户端对应的各相似度进行归一化，得到该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：使用softmax函数对...

【专利技术属性】
技术研发人员：黄章敏，孙辰晨，戴雨洋，李勇，张莹，程稳，陈光，曾令仿，
申请(专利权)人：之江实验室，
类型：发明
国别省市：