一种基于联邦多任务学习的模型训练方法、装置及设备制造方法及图纸

本说明书公开了一种基于联邦多任务学习的模型训练方法、装置及设备，中心服务器将各客户端对应的初始模型参数发送给各客户端，以使各客户端对基于各自的初始模型参数得到的模型进行训练，并将训练后的模型的优化模型参数返回给中心服务器，中心服务器根据各客户端对应的优化模型参数，确定各客户端对应的对优化模型参数进行加权的权重，并根据各客户端对应的对各优化模型参数进行加权的权重，确定适用于各客户端的模型参数，得到适用于各客户端的模型。由于各客户端的数据分布存在差异，因此本方法在模型的每次迭代训练过程中，根据权重确定各客户端的模型参数，使得各客户端得到更加泛化的模型的同时，可得到适用于各自数据分布的个性化模型。分布的个性化模型。分布的个性化模型。

【技术实现步骤摘要】
一种基于联邦多任务学习的模型训练方法、装置及设备


[0001]本申请涉及计算机
，尤其涉及一种基于联邦多任务学习的模型训练方法、装置及设备。

技术介绍

[0002]随着科技的飞速发展，机器学习模型得到广泛应用。其中，联邦学习是模型的分布式训练中的一种，联邦学习框架中包括一个中心服务器和多个参与训练的客户端，其主要目的是保护各客户端中的隐私数据不泄露。
[0003]一般的，在实际应用场景中，各客户端的数据分布不同，也即每个客户端的数据都具一定特点。例如：在对一本小说进行打分时，由于每个人的喜好、教育背景的差异等，对该本小说的打分不同，并且不同客户端适应的人群不同，那么每个客户端中的数据分布是不同的，具有其自身的特性，因此，如何基于联邦学习进行模型的训练，以使得各参与训练的客户端可以得到适用于其本身数据分布的更加精准的模型是一个重点问题。
[0004]基于此，本申请说明书提供了一种基于联邦多任务学习的模型训练方法。

技术实现思路

[0005]本说明书提供一种基于联邦多任务学习的模型训练方法、装置、存储介质及电子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦多任务学习的模型训练方法，其特征在于，所述方法应用于分布式系统中的中心服务器，所述方法包括：向各客户端发送所述各客户端各自对应的初始模型参数，以使所述各客户端分别对根据各自对应的初始模型参数得到的待训练模型进行训练，得到所述各客户端对应的待训练模型的优化模型参数；接收所述各客户端发送的所述各客户端对应的优化模型参数；针对每个客户端，根据该客户端对应的优化模型参数，确定该客户端对其他客户端对应的优化模型参数进行加权的权重；根据确定出的该客户端对其他客户端对应的优化模型参数进行加权的权重以及所述各客户端对应的优化模型参数，确定该客户端对应的加权优化参数；将确定出的各客户端对应的加权优化参数重新作为所述各客户端各自对应的初始模型参数，并分别发送至所述各客户端，以使所述各客户端继续对所述各客户端各自对应的待训练模型进行训练。2.如权利要求1所述的方法，其特征在于，根据该客户端对应的优化模型参数，确定该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度；根据确定出的该客户端对应的各相似度，确定该客户端对其他客户端对应的优化模型参数进行加权的权重。3.如权利要求2所述的方法，其特征在于，确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度，具体包括：确定该客户端对应的优化模型参数的参数向量与其他客户端对应的优化模型参数的参数向量之间的欧氏距离矩阵；根据确定出的该客户端对应的欧氏距离矩阵，确定该客户端对应的优化模型参数与其他客户端对应的优化模型参数之间的各相似度。4.如权利要求2所述的方法，其特征在于，确定该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：对该客户端对应的各相似度进行归一化，得到该客户端对其他客户端对应的优化模型参数进行加权的权重。5.如权利要求4所述的方法，其特征在于，对该客户端对应的各相似度进行归一化，得到该客户端对其他客户端对应的优化模型参数进行加权的权重，具体包括：使用softmax函数对...

【专利技术属性】
技术研发人员：黄章敏，孙辰晨，戴雨洋，李勇，张莹，程稳，陈光，曾令仿，
申请(专利权)人：之江实验室，
类型：发明
国别省市：