基于联邦学习系统的模型训练方法、装置、电子设备制造方法及图纸

本申请提供了一种基于联邦学习系统的模型训练方法、装置；方法包括：获取至少两个模型训练标签对应的第一子模型的第一模型参数，以及相应第二子模型的第二模型参数；获取各模型训练标签的标签含义，并基于标签含义确定至少两个模型训练标签间的关联关系；基于至少两个模型训练标签间的关联关系，对至少两个第一模型参数及第二模型参数进行参数聚合，得到全局模型参数；将全局模型参数分发至各第一参与方设备、以及第二参与方设备，以使第一参与方设备及第二参与方设备，基于全局模型参数更新本地模型的模型参数。通过本申请，能够保证数据的安全性，提高模型的预测准确率。

【技术实现步骤摘要】
基于联邦学习系统的模型训练方法、装置、电子设备
本申请涉及人工智能
，尤其涉及一种基于联邦学习系统的模型训练方法、装置、电子设备及计算机可读存储介质。
技术介绍
联邦学习技术是新兴的一种隐私保护技术，能够保证数据在不出本地的前提下，有效联合各方数据进行模型训练。相关技术中，通常只支持一个标签提供方与一个特征提供方参与联邦学习模型的训练，由于标签提供方提供的训练样本数量相对于整个联邦学习模型的训练样本数量而言数量较少，在相关普通单个标签提供方参与的纵向联邦学习框架下，如只和特征提供方进行建模，容易导致结果模型过拟合，模型预测结果不准确，例如，地方银行在决定贷款额度或信用卡额度时，会导致贷款额度过高或过低。
技术实现思路
本申请实施例提供一种基于联邦学习系统的模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够保证数据的安全性，提高模型的预测准确率。本申请实施例的技术方案是这样实现的：本申请实施例提供一种基于联邦学习系统的模型训练方法，所述系统包括至少两个具有模型训练标签的第一参与本文档来自技高网...

【技术保护点】
1.一种基于联邦学习系统的模型训练方法，其特征在于，所述系统包括至少两个具有模型训练标签的第一参与方设备、至少一个第二参与方设备以及参数聚合设备，所述方法应用于所述参数聚合设备，包括：/n获取所述至少两个模型训练标签对应的第一子模型的第一模型参数，以及相应第二子模型的第二模型参数；/n其中，所述第一模型参数及所述第二模型参数为，各所述第一参与方设备基于本地模型训练标签，分别与所述第二参与方设备，进行纵向联邦学习模型训练所得到；/n获取各所述模型训练标签的标签含义，并基于所述标签含义确定所述至少两个模型训练标签间的关联关系；/n基于所述至少两个模型训练标签间的关联关系，对至少两个所述第一模型参数...

【技术特征摘要】
1.一种基于联邦学习系统的模型训练方法，其特征在于，所述系统包括至少两个具有模型训练标签的第一参与方设备、至少一个第二参与方设备以及参数聚合设备，所述方法应用于所述参数聚合设备，包括：
获取所述至少两个模型训练标签对应的第一子模型的第一模型参数，以及相应第二子模型的第二模型参数；
其中，所述第一模型参数及所述第二模型参数为，各所述第一参与方设备基于本地模型训练标签，分别与所述第二参与方设备，进行纵向联邦学习模型训练所得到；
获取各所述模型训练标签的标签含义，并基于所述标签含义确定所述至少两个模型训练标签间的关联关系；
基于所述至少两个模型训练标签间的关联关系，对至少两个所述第一模型参数及所述第二模型参数进行参数聚合，得到全局模型参数；
将所述全局模型参数分发至各所述第一参与方设备、以及所述第二参与方设备，以使所述第一参与方设备及所述第二参与方设备，基于所述全局模型参数更新本地模型的模型参数。


2.根据权利要求1所述的方法，其特征在于，所述基于所述至少两个模型训练标签间的关联关系，对至少两个所述第一模型参数及所述第二模型参数进行参数聚合，得到全局模型参数，包括：
分别获取各所述第一参与方设备与所述第二参与方设备的训练样本的数量，以及用于模型训练的训练样本的总数量；
基于所述至少两个模型训练标签间的关联关系，获取的训练样本的数量及所述总数量，确定所述第一模型参数以及所述第二模型参数的权重；
根据获取的所述权重，对各所述第一模型参数以及所述第二模型参数进行加权求和，得到所述全局模型参数。


3.根据权利要求2所述的方法，其特征在于，所述确定各所述第一模型参数以及所述第二模型参数的权重，包括：
当所述关联关系表征各所述模型训练标签的标签含义相同时，分别确定各所述第一参与方设备的训练样本的数量与所述总数量的比值，将确定的比值作为相应第一参与方设备的第一模型参数的权重；
确定各所述第二参与方设备的训练样本的数量与所述总数量的比值，将确定的比值作为相应第二参与方设备的第二模型参数的权重。


4.根据权利要求1所述的方法，其特征在于，在所述获取所述至少两个模型训练标签对应的第一子模型的第一模型参数，以及相应的第二子模型的第二模型参数之前，所述方法还包括：
创建密钥对，所述密钥对包括公钥和私钥；
将所述公钥分发至所述至少两个第一参与方设备、以及所述第二参与方设备；
相应的，所述获取所述至少两个模型训练标签对应的第一子模型的第一模型参数，以及相应的第二子模型的第二模型参数，包括：
获取各所述第一参与方设备发送的加密的第一模型参数，以及所述第二参与方设备发送的加密的所述第二模型参数；
其中，所述加密的第一模型参数为，所述第一参与方设备基于所述公钥，对本地所述模型训练标签对应的第一子模型的第一模型参数加密得到；所述加密的第二模型参数为，所述第二参与方设备基于所述公钥，对本地第二子模型的第二模型参数加密得到。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述密钥对中的私钥；
基于所述私钥分别对接收到的加密的各所述第一模型参数以及加密的所述第二模型参数，进行解密，得到解密的各所述第一模型参数以及解密的各所述第二模型参数；
相应的，所述对至少两个所述第一模型参数及所述第二模型参数进行参数聚合，得到全局模型参数，包括：
对解密的各所述第一模型参数以及解密的各所述第二模型参数进行参数聚合，得到全局模型参数。


6.根据权利要求1所述的方法，其特征在于，当所述关联关系表征存在不同含义的模型训练标签且所述模型训练标签间存在标签转换关系时，所述获取所述至少两个模型训练标签对应的第一子模型的第一模型参数，以及相应第二子模型的第二模型参数之后，所述方法还包括：
获取所述标签转换关系；
基于所述标签转换关系，对各所述模型训练标签中不同含义的模型训练标签进行转换，得到含义相同的模型训练标签；
基于转换得到的各所述模型训练标签，更新各所述第一模型参数以及所述第二模型参数；
相应的，对至少两个所述第一模型参数及所述第二模型参数进行参数聚合，得到全局模型参数，包括：
对更新后的所述第一模型参数及所述第二模型参数进行参数聚合，得到全局模型参数。


7.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：吴玙，范涛，马国强，谭明超，魏文斌，郑会钿，陈天健，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44