联邦学习模型的更新方法和装置制造方法及图纸

本发明专利技术提供一种联邦学习模型的更新方法和装置，包括：将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密第一梯度得到的第二加密梯度发送至当前终端所在的第二组的其他终端；接收每个第一组的主动终端、被动终端以及其他终端分别发送的第三加密梯度；根据相同公钥加密得到的第三加密梯度确定每个第二公钥对应的第一密文梯度；将第一密文梯度发送至含有解密第一密文梯度的私钥的主动终端；接收各个主动终端反馈的第一解密梯度，并根据各个第一解密梯度以及第一噪声值更新模型的参数。本发明专利技术提供的联邦学习模型的更新方法是在保证数据隐秘性的前提下，提高了模型训练的稳定性。型训练的稳定性。型训练的稳定性。

【技术实现步骤摘要】
联邦学习模型的更新方法和装置


[0001]本专利技术涉及联邦学习技术，尤其涉及一种联邦学习模型的更新方法和装置。

技术介绍

[0002]为了解决数据孤岛及数据隐私安全的问题，目前主流方法是运用联邦学习将不同的数据联合训练，得到更好的模型以解决实际问题。联邦学习根据数据的分布情况分为横向联邦学习、纵向联邦学习、以及迁移学习。其中，纵向联邦学习应用较广。例如在金融场景中，银行等金融机构中含有信贷标签，而电商平台有用户的消费数据，双方用户存在交集，银行可以利用电商的数据进行信贷风险预测，但双方不能进行数据共享，这时可以采用纵向联邦学习解决这类问题。
[0003]目前，在通过纵向联邦学习构建逻辑回归模型时，通常需要可信第三方(协调者)生成同态加密的公私钥，并将公钥分发给各个参与方，参与联邦学习的各方将同态加密的梯度发送至可信第三方，可信第三方将各方同态加密的梯度相加后解密，然后将明文状态的模型梯度发送至特征拥有方后，特征拥有方即可更新本地模型。
[0004]在训练模型的每一轮迭代中，可信第三方都需要同时接收各个参与方的消息，且可信第三方在计算得到梯度后再同时将梯度发送给所有参与方，这会导致协调者产生瞬时计算负载和通信流量过大的问题，进而影响训练过程的稳定性。可见，模型的训练稳定性较差。

技术实现思路

[0005]本专利技术提供一种联邦学习模型的更新方法和装置，用以解决模型的训练稳定性较差的问题。
[0006]一方面，本专利技术提供一种联邦学习模型的更新方法，包括：
[0007]一种联邦学习模型的更新方法，包括：
[0008]当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密所述第一梯度得到的第二加密梯度发送至所述当前终端所在的第二组的其他终端，其中，所述第一组以及所述第二组均由一个主动终端和一个被动终端组成，所述第一公钥是所述第二组的主动终端生成的，所述第二公钥是所述第一组的主动终端生成的，所述其他终端是所述第二组中除所述当前终端之外的主动终端或被动终端；
[0009]所述当前终端接收每个所述第一组的主动终端、被动终端以及所述其他终端分别发送的第三加密梯度，所述第三加密梯度均不是采用所述第一公钥加密梯度得到的；
[0010]所述当前终端根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度，其中，所述第一密文梯度包括所述当前终端的第一噪声值；
[0011]所述当前终端将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的主动终端；
[0012]所述当前终端接收各个所述主动终端反馈的第一解密梯度，并根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。
[0013]在一实施例中，所述当前终端是所述第二组的主动终端，所述将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的主动终端的步骤之后，还包括：
[0014]所述当前终端接收每个所述第一组的主动终端、被动终端以及所述其他终端发送的第二密文梯度，所述第二密文梯度是采用第一公钥加密各个加密梯度得到的，且所述第二密文梯度包括生成所述第二密文梯度的终端的第二噪声值；
[0015]所述当前终端根据所述第一公钥对应的私钥对各个所述第二密文梯度解密得到各个第二解密梯度；
[0016]所述当前终端将所述第二解密梯度发送至所述第二解密梯度对应的终端，其中，所述第二解密梯度对应的终端是发送所述第二解密梯度对应的第二密文梯度的终端。
[0017]在一实施例中，所述当前终端包括截距，所述根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数的步骤包括：
[0018]所述当前终端根据相同公钥加密得到的所述第三加密梯度，确定每个所述第二公钥对应的密文截距，其中，所述密文截距包括所述当前终端的第一噪声值；
[0019]所述当前终端将每个所述密文截距发送至含有解密所述密文截距的私钥的主动终端；
[0020]所述当前终端接收各个所述主动终端反馈的解密截距，并根据各个所述解密截距、各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。
[0021]在一实施例中，所述根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度的步骤包括：
[0022]所述当前终端根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的平均梯度；
[0023]所述当前终端获取第一噪声值，并将每个所述平均梯度与所述第一噪声值分别进行运算得到多个第一密文梯度。
[0024]在一实施例中，所述根据各个所述第一解密梯度、所述第一梯度以及所述噪声值更新所述当前终端内模型的参数的步骤之后，还包括：
[0025]所述当前终端根据各个训练样本对参数更新后的模型进行训练；
[0026]所述当前终端在训练完毕的模型未满足收敛条件时，根据训练完毕的模型重新获取第一梯度，并返回执行所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤。
[0027]在一实施例中，所述当前终端是所述第二组中的被动终端，所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤之前，还包括：
[0028]所述当前终端获取所述第二组的主动终端生成的第一公钥，且接收每个所述第一组的主动终端生成的第二公钥。
[0029]在一实施例中，所述当前终端是所述第二组的主动终端，所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤之前，还包括：
[0030]所述当前终端生成第一公钥以及所述第一公钥对应的私钥；
[0031]所述当前终端保存所述私钥，并将所述第一公钥发送至每个所述第一组的主动终端、被动终端以及所述其他终端；
[0032]所述当前终端接收每个所述第一组的主动终端生成的第二公钥。
[0033]在一实施例中，每个所述主动终端的计算资源均大于每个所述被动终端的计算资源，且所述主动终端的带宽均大于每个所述被动终端的带宽。
[0034]另一方面，本专利技术还提供一种终端，包括：
[0035]发送模块，用于将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密所述第一梯度得到的第二加密梯度发送至所述当前终端所在的第二组的其他终端，其中，所述第一组以及所述第二组均由一个主动终端和一个被动终端组成，所述第一公钥是所述第二组的主动终端生成的，所述第二公钥是所述第一组的主动终端生成的，所述其他终端是所述第二组中除所述当前终端之外的主动终端或被动终端；
[0036]接收模块，用于接收每个所述第一组的主动终端、被动终端以及所述其他终端分别发送的第三加密梯度，所述第三加密梯度均不是采用所述第一公钥加密梯度得到的；
[0037]确定模块，用于根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习模型的更新方法，其特征在于，包括：当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密所述第一梯度得到的第二加密梯度发送至所述当前终端所在的第二组的其他终端，其中，所述第一组以及所述第二组均由一个主动终端和一个被动终端组成，所述第一公钥是所述第二组的主动终端生成的，所述第二公钥是所述第一组的主动终端生成的，所述其他终端是所述第二组中除所述当前终端之外的主动终端或被动终端；所述当前终端接收每个所述第一组的主动终端、被动终端以及所述其他终端分别发送的第三加密梯度，所述第三加密梯度均不是采用所述第一公钥加密梯度得到的；所述当前终端根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度，其中，所述第一密文梯度包括所述当前终端的第一噪声值；所述当前终端将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的主动终端；所述当前终端接收各个所述主动终端反馈的第一解密梯度，并根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。2.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述当前终端是所述第二组的主动终端，所述将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的主动终端的步骤之后，还包括：所述当前终端接收每个所述第一组的主动终端、被动终端以及所述其他终端发送的第二密文梯度，所述第二密文梯度是采用第一公钥加密各个加密梯度得到的，且所述第二密文梯度包括生成所述第二密文梯度的终端的第二噪声值；所述当前终端根据所述第一公钥对应的私钥对各个所述第二密文梯度解密得到各个第二解密梯度；所述当前终端将所述第二解密梯度发送至所述第二解密梯度对应的终端，其中，所述第二解密梯度对应的终端是发送所述第二解密梯度对应的第二密文梯度的终端。3.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述当前终端包括截距，所述根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数的步骤包括：所述当前终端根据相同公钥加密得到的所述第三加密梯度，确定每个所述第二公钥对应的密文截距，其中，所述密文截距包括所述当前终端的第一噪声值；所述当前终端将每个所述密文截距发送至含有解密所述密文截距的私钥的主动终端；所述当前终端接收各个所述主动终端反馈的解密截距，并根据各个所述解密截距、各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。4.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度的步骤包括：所述当前终端根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的平均梯度；所述当前终端获取第一噪声值，并将每个所述平均梯度与所述第一噪声值分别进行运算得到多个第一密文梯度。
5.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述根据各个所述第一解密梯度、所述第一梯度以及所述噪声值更新所述当前终端内模型的参数的步骤之后，还包括：所述当前终端根据各个训练样本对参数更新后的模型...

【专利技术属性】
技术研发人员：张钧皓，孙中伟，曹雨晨，姬艳鑫，刘永平，尹靖雯，张新，宋红花，赵国梁，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：