【技术实现步骤摘要】
所属的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。基于相同的专利技术构思，本申请实施例还提供一种电子设备。在一种实施例中，该电子设备可以是服务器，也可以是终端设备。参阅图15所示，其为本申请实施例中提供的一种可能的电子设备的结构示意图，图15中，电子设备1500包括：处理器1510和存储器1520。其中，存储器1520存储有可被处理器1510执行的计算机程序，处理器1510通过执行存储器1520存储的指令，可以执行上述基于联邦学习的模型训练方法的步骤。存储器1520可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；存储器1520也可以是非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；或者存储器1520是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1520也可以是上述存储器的组合。处理器1510可以包括一个或多个中央处理单元(central processing unit，cpu)或者为数字处理单元等等
技术介绍
1、随着人工智能技术的不断发展，面对数据孤岛和数据隐私和安全问题，联邦学习作为一种分布式机器学习应运而生。联邦学习的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升模型效果。
2、相关技术中，服务器随机选择可用于训练的各客户端，并将全局模型发送到各客户端；各客户端将全局模型部署为本地模型，并使用本地数据集对本地模型进行训练，并将训练后的本地模型发送给服务器；服务器基于各客户端各自返回的训练后的本地模型，对全局模型进行更新。
3、然而，联邦学习中各客户端之间的样本数据分布可能是不一致的，各客户端的样本数据非独立同分布(non-iid，非iid)，因此各客户端之间存在数据异构性，对非iid数据进行建模可能会导致客户端漂移，进而导致性能下降和全局模型收敛速度变慢。
技术实现思路
1、本申请实施例提供一种基于联邦学习的模型训练方法及相关装置，用以基于联邦学习的模型训练效果。
2、第一方面，本申请实施例提供一种基于联邦学习的模型训练方法，应用于服务器，包括：
3、分别向各在线客户端发送初始全局模型的初始模型参数，以使每个在线客户端对所述初始全局模型进行训练后，将训练获得的本地化全局模型的本地化模型参数返回给服务器；
4、基于获得的各本地化模型参数进行模型聚合，获得新全局模型，并基于所述各本地化模型参数，利用无数据知识蒸馏技术，对初始样本生成器进行训练，获得目标样本生成器；
5、分别向各在线客户端发送所述目标样本生成器的目标生成器参数和所述新全局模型的新模型参数，以使每个在线客户端采用所述目标样本生成器，结合所述新全局模型，生成符合相应的本地样本集的样本类别分布的个性化模型；
6、当至少一个掉线客户端上线时，分别向所述至少一个掉线客户端发送所述目标生成器参数和所述初始模型参数，以使所述至少一个掉线客户端分别采用所述目标样本生成器，结合所述初始全局模型，生成相应的个性化模型。
7、第二方面，本申请实施例提供一种基于联邦学习的模型训练方法，应用于客户端，包括：
8、接收服务器发送的初始全局模型的初始模型参数，并基于本地样本集，对所述初始全局模型进行训练，获得本地化全局模型；
9、将所述本地化全局模型的本地化模型参数返回给所述服务器，以使所述服务器基于获得的各在线客户端各自的本地化模型参数进行模型聚合，获得新全局模型，并基本文档来自技高网...
【技术保护点】
1.一种基于联邦学习的模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于所述各本地化模型参数，利用无数据知识蒸馏技术，对初始样本生成器进行训练，获得目标样本生成器，包括：
3.如权利要求2所述的方法，其特征在于，所述利用初始样本生成器，生成各全局样本类别各自对应的合成样本集，包括：
4.如权利要求2所述的方法，其特征在于，所述基于获得的各预测结果，获得生成模型损失，包括：
5.如权利要求4所述的方法，其特征在于，所述基于所述各本地化全局模型各自对应的局部损失和损失权重，获得生成模型损失，包括：
6.如权利要求1-4中任一项所述的方法，其特征在于，所述基于获得的各本地化模型参数进行模型聚合，获得新全局模型之前，还包括：
7.一种基于联邦学习的模型训练方法，其特征在于，包括：
8.如权利要求7所述的方法，其特征在于，接收所述服务器发送的所述目标样本生成器的目标生成器参数和所述新全局模型的新模型参数之前，还包括：
9.如权利要求7所述的方法，其特征在于，所述采
10.如权利要求7、8或9所述的方法，其特征在于，还包括：
11.一种基于联邦学习的模型训练装置，其特征在于，包括：
12.一种基于联邦学习的模型训练装置，其特征在于，包括：
13.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6中任一所述方法的步骤，或者执行权利要求7～10中任一所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1～6中任一所述方法的步骤，或者执行权利要求7～10中任一所述方法的步骤。
15.一种计算机程序产品，其特征在于，其包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得所述电子设备执行权利要求1～6中任一所述方法的步骤，或者执行权利要求7～10中任一所述方法的步骤。
...【技术特征摘要】
1.一种基于联邦学习的模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述基于所述各本地化模型参数，利用无数据知识蒸馏技术，对初始样本生成器进行训练，获得目标样本生成器，包括：
3.如权利要求2所述的方法，其特征在于，所述利用初始样本生成器，生成各全局样本类别各自对应的合成样本集，包括：
4.如权利要求2所述的方法，其特征在于，所述基于获得的各预测结果，获得生成模型损失，包括：
5.如权利要求4所述的方法，其特征在于，所述基于所述各本地化全局模型各自对应的局部损失和损失权重，获得生成模型损失，包括：
6.如权利要求1-4中任一项所述的方法，其特征在于，所述基于获得的各本地化模型参数进行模型聚合，获得新全局模型之前，还包括：
7.一种基于联邦学习的模型训练方法，其特征在于，包括：
8.如权利要求7所述的方法，其特征在于，接收所述服务器发送的所述目标样本生成器的目标生成器参数和所述新全局模型的新模型参数之前，还包括：
9.如权利要求7所述的方法，其特征在于，所述采用所述目标样本生成器，结合所述...
【专利技术属性】
技术研发人员：黄雅雯，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。