基于神经网络的联邦模型的训练方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种基于神经网络的联邦模型的训练方法、装置及计算机设备，该方法包括：接收对预置的联邦模型进行迭代训练的训练请求以获取联邦模型的每个参与方向联邦模型发送的历史梯度信息；根据预置的LSTM模型对历史梯度信息进行筛选，得到当前时刻需对联邦模型进行迭代更新的多个参与方；接收多个参与方中每个参与方的本地数据训练相应的本地模型后生成的梯度信息以对联邦模型进行更新。本发明专利技术基于神经网络技术，通过采用长短期记忆人工神经网络从联邦模型的所有参与方中获取每轮迭代过程中所需要参与迭代训练的参与方，不仅降低了参与方的计算成本与网络通信传输成本，而且加快了联邦模型训练速度，同时提高了联邦模型的训练精度。

【技术实现步骤摘要】
基于神经网络的联邦模型的训练方法、装置及计算机设备
本专利技术涉及联邦学习
，尤其涉及一种基于神经网络的联邦模型的训练方法、装置及计算机设备。
技术介绍
在联邦学习
，各个参与联邦的参与者共建一个联邦模型，联邦模型由各联邦参与者共同参与和贡献，进而能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。在对联邦模型进行共同训练的过程中，数据本身不会离开各个联邦用户，但各参与方与中央服务器一般不在同一网络环境下，运行状态也各不相同，另外在共同训练过程中所传递的模型信息要经过加密算法的加密，处理后的密文通常远远大于加密前的明文，因此联邦学习系统通信效率的高低影响着联邦模型的训练成本。现有技术中通常通过对模型参数进行量化或压缩来降低需要传送的参数量、或者随机指定一些参与方参与每轮的更新以减少通信成本、或者通过重叠计算与通信来减少运行时间。但是上述方法仍然具有较大的缺陷，其中在量化或压缩的过程中会不可避免地造成一些精度的缺失；而随机选择参与方进行更新则引入了一些随机性，有些参与方可能会较少地参与到联邦训本文档来自技高网...

【技术保护点】
1.一种基于神经网络的联邦模型的训练方法，其特征在于，包括以下步骤：/n接收对预置的联邦模型进行迭代训练的训练请求；/n根据所述训练请求获取所述联邦模型的每个参与方向所述联邦模型发送的历史梯度信息；/n根据预置的LSTM模型对所述历史梯度信息进行筛选，得到当前时刻需对所述联邦模型进行迭代更新的多个参与方；/n接收所述多个参与方中每个参与方的本地数据训练相应的本地模型后生成的梯度信息；/n根据所述梯度信息对所述联邦模型进行迭代更新。/n

【技术特征摘要】
1.一种基于神经网络的联邦模型的训练方法，其特征在于，包括以下步骤：
接收对预置的联邦模型进行迭代训练的训练请求；
根据所述训练请求获取所述联邦模型的每个参与方向所述联邦模型发送的历史梯度信息；
根据预置的LSTM模型对所述历史梯度信息进行筛选，得到当前时刻需对所述联邦模型进行迭代更新的多个参与方；
接收所述多个参与方中每个参与方的本地数据训练相应的本地模型后生成的梯度信息；
根据所述梯度信息对所述联邦模型进行迭代更新。


2.根据权利要求1所述的基于神经网络的联邦模型的训练方法，其特征在于，所述根据预置的LSTM模型对所述历史梯度信息进行筛选，得到当前时刻需对所述联邦模型进行迭代更新的多个参与方，包括：
将所述历史梯度信息输入至所述LSTM模型中，得到所述联邦模型的每个参与方的历史隐藏状态；
根据所述历史隐藏状态生成所述每个参与方的期望值；
根据∈-贪婪算法对所述期望值进行筛选，得到当前时刻需对所述联邦模型进行迭代更新的多个参与方。


3.根据权利要求1所述的基于神经网络的联邦模型的训练方法，其特征在于，所述根据所述梯度信息对所述联邦模型进行迭代更新，包括：
根据预设的私钥对当前时刻所述多个参与方的梯度信息进行解密，得到解密后的每个参与方的梯度信息；
汇总所述解密后的每个参与方的梯度信息并根据汇总后的梯度信息对所述联邦模型进行迭代更新。


4.根据权利要求1所述的基于神经网络的联邦模型的训练方法，其特征在于，所述接收所述多个参与方中每个参与方的本地数据训练相应的本地模型后生成的梯度信息之前，还包括：
获取未经本地数据进行训练的本地模型并根据所述本地模型对所述联邦模型进行同步；
根据所述联邦模型的同步结果请求所述每个参与方训练相应的本地模型。


5.根据权利要求1所述的基于神经网络的联邦模型的训练方法，其特征在于，所述根据所述梯度信息对所述联邦模型进行迭代更新之后，还包括...

【专利技术属性】
技术研发人员：王健宗，李泽远，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44