【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种联邦学习模型的训练数据生成和联邦学习模型训练方法。
技术介绍
1、现有的联邦学习神经网络算法主要有两种形式，一种是带有加密交互层的划分式联邦神经网络，一种是基于多方安全计算的全密文联邦神经网络。基于多方安全计算的全密文联邦神经网络安全性最高，保证训练的全过程数据一直以加密的形式存在，所有的计算操作都需要各方联合进行，但是计算过于复杂导致速度极慢，并且多方安全计算必须使用近似的方式来模拟实现神经网络的中非线性操作又带来了必然的准确性缺陷。
技术实现思路
1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此，本公开的一个目的在于提出一种联邦学习模型的训练数据生成方法。
3、本公开的第二个目的在于提出一种联邦学习模型训练方法。
4、本公开的第三个目的在于提出一种联邦学习模型的训练数据生成装置。
5、本公开的第四个目的在于提出一种联邦学习模型训练装置。
6、本公开的第五个目的在于提出一种电子设备。
7、本公开的第六个目的在于提出一种非瞬时计算机可读存储介质。
8、为达上述目的，本公开第一方面实施方式提出了一种联邦学习模型的训练数据生成方法，包括：针对联邦模型的任一计算节点，获取所述计算节点对应的标签数据、特征数据和特征数据权重；对所述特征数据进行拆分操作以生成第一特征数据和第二特征数据，以及对所述特征数据权重进行拆分操作以生成第一特征数据权重和第二特征数据权重
9、根据本公开的一个实施方式，获取所述特征数据权重，包括：获取当前的训练轮次；基于所述训练轮次，获取所述特征数据权重。
10、根据本公开的一个实施方式，所述联邦学习模型的训练数据生成方法还包括：
11、根据本公开的一个实施方式，所述基于所述训练轮次，获取所述特征数据权重，包括：响应于所述训练轮次为第一轮训练，通过特征底层模型随机分配所述特征数据权重；或者，响应于所述训练轮次为非第一轮训练，获取所有计算节点的通过优化模块反馈的优化后的第一优化权重，并基于所述第一优化权重生成所述特征数据权重，其中，所述第一优化权重为所述优化模块基于上一轮训练中对应的目标训练数据输入至顶层模型中的输出结果生成的。
12、根据本公开的一个实施方式，所述基于所述第一优化权重生成所述特征数据权重，包括：针对任一计算节点，对所述第一优化权重进行拆分操作，以拆分生成第一初始特征权重和第二初始特征权重；分别对所述第一初始特征权重和所述第二初始特征权重进行加密计算，以分别生成第一加密特征权重和第二加密特征权重，并将所述第一加密特征权重和所述第二加密特征权重发送给特征模型，并通过所述特征模型基于所有计算节点的所述第一加密特征权重和所述第二加密特征权重生成所述特征数据权重。
13、根据本公开的一个实施方式，所述通过所述特征模型基于所有计算节点的所述第一加密特征权重和所述第二加密特征权重生成所述特征数据权重，包括：针对任一计算节点，通过所述特征模型将所述计算节点的所述第一加密特征权重和所述第二加密特征权重进行相加通过所述特征模型将所述计算节点的所述第一加密特征权重和所述第二加密特征权重进行相加，以生成加密特征权重；通过所述特征模型将所有计算节点的所述加密特征权重进行相加，以生成加密特征梯度；基于所述加密特征梯度和上一轮训练中对应的历史特征数据权重，确定本轮训练中的所述特征数据权重。
14、根据本公开的一个实施方式，所述基于所述加密特征梯度和上一轮训练中对应的历史特征数据权重，确定本轮训练中的所述特征数据权重，包括：获取预设学习率；将所述预设学习率与所述加密特征梯度相乘以获取变更因子；计算所述历史特征数据权重与所述变更因子的差值，作为本轮训练中的所述特征数据权重。
15、根据本公开的一个实施方式，所述通过所述标签模型基于所述第一加密特征数据、所述第二加密特征数据和所述标签数据，生成目标训练数据，包括：获取所述标签数据的标签数据权重；将所述标签数据权重和所述标签数据进行处理，以生成目标标签数据，将所述目标标签数据、所述第一加密特征数据和所述第二加密特征数据相加，以获取所述目标训练数据。
16、根据本公开的一个实施方式，所述获取所述标签数据的标签数据权重，包括：获取当前的训练轮次；响应于所述训练轮次为第一轮训练，通过标签底层模型随机分配所述标签数据权重；或者，响应于所述训练轮次为非第一轮训练，获取所有计算节点的通过优化模块反馈的优化后的第二优化权重，并基于所述第二优化权重生成所述标签数据权重，其中，所述第二优化权重为所述优化模块基于上一轮训练中对应的目标训练数据输入至顶层模型中的输出结果生成的。
17、根据本公开的一个实施方式，所述将所述目标标签数据、所述第一加密特征数据和所述第二加密特征数据相加，以获取所述目标训练数据，包括：将所述第一加密特征数据和所述第二加密特征数据进行解密，并将解密后的数据与所述目标标签数据进行相加，以生成所述目标训练数据。
18、根据本公开的一个实施方式，所述将所述第一加密特征数据和所述第二加密特征数据发送至标签模型之前，还包括：对所述第一加密特征数据和所述第二加密特征数据分别进行一次激活函数加密。
19、为达上述目的，本公开第二方面实施例提出了一种联邦学习模型训练方法，其特征在于，包括：获取目标训练数据和初始联邦学习模型，其中，所述目标训练数据为通过如第一方面实施例所述的联邦学习模型的训练数据生成方法生成的；将所述目标训练数据输入至所述初始联邦学习模型的顶层模型中进行训练，直至训练结束，生成训练完成的目标联邦学习模型。
20、为达上述目的，本公开第三方面实施例提出了一种联邦学习模型的训练数据生成装置，包括：获取模块，用于针对联邦模型的任一计算节点，获取所述计算节点对应的标签数据、特征数据和特征数据权重；拆分模块，用于对所述特征数据进行拆分操作以生成第一特征数据和第二特征数据，以及对所述特征数据权重进行拆分操作以生成第一特征数据权重和第二特征数据权重；处理模块，用于将所述第一特征数据和所述第一特征数据权重进行处理，以生成第一加密特征数据，以及将所述第二特征数据和所述第二特征数据权重进行处理，以生成第二加密特征数据；生成模块，用于通过标签模型对所述第一加密特征数据、所述第二加密特征数据和所述标签数据进行处理，以生成目标训练数据。
21、根据本公开的一个实施方式，所述获取模块，还用于：获取当前的训练轮次；基于所述训练轮次，获取所述特征数据权重。
22、根据本公开的一个实施方式，所述获取模块，还用于：响应于所述训练轮次为第一轮训练，通过特征底层本文档来自技高网...
【技术保护点】
1.一种联邦学习模型的训练数据生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取所述特征数据权重，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练轮次，获取所述特征数据权重，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一优化权重生成所述特征数据权重，包括：
5.根据权利要求4所述的方法，其特征在于，所述通过所述特征模型基于所有计算节点的所述第一加密特征权重和所述第二加密特征权重生成所述特征数据权重，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述加密特征梯度和上一轮训练中对应的历史特征数据权重，确定本轮训练中的所述特征数据权重，包括：
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述通过标签模型对所述第一加密特征数据、所述第二加密特征数据和所述标签数据进行处理，以生成目标训练数据，包括：
8.根据权利要求7所述的方法，其特征在于，所述获取所述标签数据的标签数据权重，包括：
9.根据权利要求7所述的方
10.一种联邦学习模型训练方法，其特征在于，包括：
11.一种联邦学习模型的训练数据生成装置，其特征在于，包括：
12.一种联邦学习模型训练装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括存储器、处理器；
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-9中任一项所述的联邦学习模型的训练数据生成方法或者如权利要求10所述的联邦学习模型训练方法。
...【技术特征摘要】
1.一种联邦学习模型的训练数据生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取所述特征数据权重，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练轮次，获取所述特征数据权重，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一优化权重生成所述特征数据权重，包括：
5.根据权利要求4所述的方法，其特征在于，所述通过所述特征模型基于所有计算节点的所述第一加密特征权重和所述第二加密特征权重生成所述特征数据权重，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述加密特征梯度和上一轮训练中对应的历史特征数据权重，确定本轮训练中的所述特征数据权重，包括：
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述通过标签模型对所述第一加密特征数据、所述第二加密特征数据和所述标...
【专利技术属性】
技术研发人员：刘涛，王蜀洪，朱小坤，包勇军，关诚，李硕，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。