联邦学习模型训练方法和系统技术方案

本发明专利技术提供一种联邦学习模型训练方法和系统，该方法包括：创建区块链网络，以用于联邦学习模型的训练；在每一轮联邦学习模型的训练过程中，接收组织用户上传的本地训练模型参数，组织用户为在本地使用本地用户数据对联邦学习模型进行训练的区块链用户；将所有组织用户上传的本地训练模型参数发送给工人用户，由工人用户利用所有本地训练模型参数对联邦学习模型进行联合训练；采用成功创建区块的工人用户上传的联合训练模型参数更新联邦学习模型；将联合训练模型参数发送给组织用户以更新组织用户的本地训练模型参数。本发明专利技术中，通过引入除数据提供方之外的其他参与方用户参与联邦学习模型的训练，从而扩大了用户范围。从而扩大了用户范围。从而扩大了用户范围。

【技术实现步骤摘要】
联邦学习模型训练方法和系统


[0001]本专利技术实施例涉及业务支撑
，尤其涉及一种联邦学习模型训练方法和系统。

技术介绍

[0002]联邦学习(Federated Learning)是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私以及保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习的一种新兴人工智能基础技术。目前，一些联邦学习模型通过联邦学习进行训练。
[0003]然而，目前的通过联邦学习训练联邦学习模型的方法存在以下问题：联邦学习参与方局限于数据提供方，导致用户范围小以及训练效率低问题。

技术实现思路

[0004]本专利技术实施例提供一种联邦学习模型训练方法和系统，用于解决目前的通过联邦学习训练联邦学习模型的方法用户范围小以及训练效率低的问题。
[0005]为了解决上述技术问题，本专利技术是这样实现的：
[0006]第一方面，本专利技术实施例提供了一种联邦学习模型训练方法，包括：
[0007]创建区块链网络，以用于联邦学习模型的训练；
[0008]在每一轮联邦学习模型的训练过程中，接收组织用户上传的本地训练模型参数，所述组织用户为在本地使用本地用户数据对联邦学习模型进行训练的区块链用户；
[0009]将所有所述组织用户上传的本地训练模型参数发送给工人用户，由所述工人用户利用所有所述组织用户上传的本地训练模型参数对联邦学习模型进行联合训练；
[0010]采用成功创建区块的所述工人用户上传的联合训练模型参数更新所述联邦学习模型；
[0011]将所述联合训练模型参数发送给所述组织用户以更新所述组织用户的本地训练模型参数。
[0012]可选的，所述组织用户上传的本地训练模型参数采用同态加密算法进行加密。
[0013]可选的，所述组织用户采用自定义的密钥对本地训练模型参数进行同态加密。
[0014]可选的，在每一轮联邦学习模型的训练过程中，所述区块链网络的区块链节点接收组织用户上传的本地训练模型参数包括：
[0015]接收所述组织用户上传的本地训练模型参数时，判定所述组织用户是否同时上传了加密证明，所述加密证明由所述区块链网络的任意N个背书节点基于零知识证明开具；
[0016]若所述组织用户未发送加密证明，判定所述组织用户为恶意参与方。
[0017]可选的，所述方法还包括：
[0018]在进行联邦学习模型的训练之前，接收组织用户上传的额外样本，组成额外样本库，所述额外样本包括多个输入样本和输出样本对，所述输入样本由所述组织用户利用随
机算法生成，所述输出样本为所述组织用户将所述输入样本加入到自身的本地用户数据中对联邦学习模型进行训练得到的输出；
[0019]接收组织用户上传的本地训练模型参数；
[0020]所述区块链网络的任意N个背书节点从所述额外样本库中随机抽取K个样本，根据所述K个样本对所述本地训练模型参数进行准确率判别；
[0021]若N个背书节点的平均准确率高于预设阈值，为所述组织用户开具加密证明。
[0022]可选的，所述方法还包括：
[0023]在创建区块链网络之后，为每一用户赋予初始资产；
[0024]在得到收敛的联邦学习模型之后，根据每一轮中发生的交易，对每一用户进行资产结算。
[0025]可选的，根据每一轮中发生的交易，对每一用户进行资产结算之前还包括：
[0026]在用户加入所述区块链网络之后，在用户的区块链节点上部署智能合约集，若所述用户为组织用户，所述智能合约集包括以下至少一项：状态查询合约，模型更新合约和模型下载合约；若所述用户为工人用户，所述智能合约集包括以下至少一项：状态查询合约，模型加工合约和模型下载合约；
[0027]其中，所述状态查询合约被用户调用时，提交一次查询交易，以查询所述用户方的当前剩余可用资产；
[0028]所述模型更新合约被所述组织用户调用时，将所述组织用户的本地训练模型参上传至所述区块链网络，完成一次模型参数更新交易；
[0029]所述模型下载合约被所述工人用户调用时，从所述区块链网络下载所有所述组织用户上传的本地训练模型参数，所述模型下载合约被所述组织用户调用时，从所述区块链网络下载所述工人用户上传的联合训练模型参数，以完成一次模型参数下载交易；
[0030]所述模型加工合约被所述工人用户调用时，向所述区块链网络上传联合训练模型参数，以完成一次加工模型参数交易。
[0031]第二方面，本专利技术实施例提供了一种联邦学习模型训练系统，包括：
[0032]创建模块，用于创建区块链网络，以用于联邦学习模型的训练；
[0033]第一接收模块，用于在每一轮联邦学习模型的训练过程中，接收组织用户上传的本地训练模型参数，所述组织用户为在本地使用本地用户数据对联邦学习模型进行训练的区块链用户；
[0034]第一发送模块，用于将所有所述组织用户上传的本地训练模型参数发送给工人用户，由所述工人用户利用所有所述组织用户上传的本地训练模型参数对联邦学习模型进行联合训练；
[0035]更新模块，用于采用成功创建区块的所述工人用户上传的联合训练模型参数更新所述联邦学习模型；
[0036]第二发送模块，用于将所述联合训练模型参数发送给所述组织用户以更新所述组织用户的本地训练模型参数。
[0037]可选的，所述组织用户上传的本地训练模型参数采用同态加密算法进行加密。
[0038]可选的，所述组织用户采用自定义的密钥对本地训练模型参数进行同态加密。
[0039]可选的，所述系统还包括：
[0040]加密模块，用于接收所述组织用户上传的本地训练模型参数时，判定所述组织用户是否同时上传了加密证明，所述加密证明由所述区块链网络的任意N个背书节点基于零知识证明开具；若所述组织用户未发送加密证明，判定所述组织用户为恶意参与方。
[0041]可选的，所述系统还包括：
[0042]第一接收模块，用于在进行联邦学习模型的训练之前，接收组织用户发送的额外样本，组成额外样本库，所述额外样本包括多个输入样本和输出样本对，所述输入样本由所述组织用户利用随机算法生成，所述输出样本为所述组织用户将所述输入样本加入到自身的本地用户数据中对联邦学习模型进行训练得到的输出；
[0043]第二接收模块，用于接收组织用户上传的本地训练模型参数；
[0044]判别模块，用于从所述额外样本库中随机抽取K个样本，根据所述K个样本对所述本地训练模型参数进行准确率判别；
[0045]证明模块，用于若N个背书节点的平均准确率高于预设阈值，为所述组织用户开具加密证明。
[0046]可选的，所述系统还包括：
[0047]初始资产赋予模块，用于在创建区块链网络之后，为每一用户赋予初始资产；
[0048]结算模块，用于在得到收敛的联邦学习模型之后，根据每一轮中发生的交易，对每一用户进行资产结算。...

【技术保护点】

【技术特征摘要】
1.一种联邦学习模型训练方法，其特征在于，包括：创建区块链网络，以用于联邦学习模型的训练；在每一轮联邦学习模型的训练过程中，接收组织用户上传的本地训练模型参数，所述组织用户为在本地使用本地用户数据对联邦学习模型进行训练的区块链用户；将所有所述组织用户上传的本地训练模型参数发送给工人用户，由所述工人用户利用所有所述组织用户上传的本地训练模型参数对联邦学习模型进行联合训练；采用成功创建区块的所述工人用户上传的联合训练模型参数更新所述联邦学习模型；将所述联合训练模型参数发送给所述组织用户以更新所述组织用户的本地训练模型参数。2.如权利要求1所述的方法，其特征在于，所述组织用户上传的本地训练模型参数采用同态加密算法进行加密。3.如权利要求2所述的方法，其特征在于，所述组织用户采用自定义的密钥对本地训练模型参数进行同态加密。4.如权利要求1所述的方法，其特征在于，在每一轮联邦学习模型的训练过程中，所述区块链网络的区块链节点接收组织用户上传的本地训练模型参数包括：接收所述组织用户上传的本地训练模型参数时，判定所述组织用户是否同时上传了加密证明，所述加密证明由所述区块链网络的任意N个背书节点基于零知识证明开具；若所述组织用户未发送加密证明，判定所述组织用户为恶意参与方。5.如权利要求4所述的方法，其特征在于，还包括：在进行联邦学习模型的训练之前，接收组织用户上传的额外样本，组成额外样本库，所述额外样本包括多个输入样本和输出样本对，所述输入样本由所述组织用户利用随机算法生成，所述输出样本为所述组织用户将所述输入样本加入到自身的本地用户数据中对联邦学习模型进行训练得到的输出；接收组织用户上传的本地训练模型参数；所述区块链网络的任意N个背书节点从所述额外样本库中随机抽取K个样本，根据所述K个样本对所述本地训练模型参数进行准确率判别；若N个背书节点的平均准确率高于预设阈值，为所述组织用户开具加密证明。6.如权利要求1所述的方法，其特征在于，还包括：在创建区块链网络之后，为每一用户赋予初始资产；在得到收敛的联邦学习模型之后，根据每一轮中发生的交易，对每一用户进行资产结算。7.如权利要求6所述的方法，其特征在于，根据每一轮中发生的交易，对...

【专利技术属性】
技术研发人员：刘诗阳，史家康，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：