用于纵向联邦学习的模型更新的方法、设备、系统和介质技术方案

本公开涉及用于纵向联邦学习的模型更新的方法、设备、系统和介质。由第一通信设备执行的方法包括：从第二通信设备接收第一中间参数密文；将接收到的第一中间参数密文和由第一通信设备产生的第二中间参数密文进行聚合，得到聚合参数密文；基于聚合参数密文，得到第一通信设备的梯度密文；使用第一随机数对第一通信设备的梯度密文进行盲化，并将盲化后的第一通信设备的梯度密文发送给第二通信设备；使用第一随机数对从第二通信设备接收到的盲化后的第一通信设备的梯度进行去盲化，以得到第一通信设备的梯度，从而使用该梯度对第一通信设备的本地模型进行更新。通过该技术方案，能够对本地模型进行更新而无需协调方，进一步提高了数据的安全性。数据的安全性。数据的安全性。

【技术实现步骤摘要】
用于纵向联邦学习的模型更新的方法、设备、系统和介质


[0001]本公开大体上涉及数据安全领域，更具体地，涉及数据安全领域中用于纵向联邦学习的模型更新的方法、设备、系统和介质。

技术介绍

[0002]联邦学习作为近年来新型的分布式机器学习技术，极大地解决了数据孤岛的问题，能在满足数据隐秘性和安全性的同时，在联邦学习的学习组内的各参与方之间共享与数据特征有关的一些参数，使得参与方联合训练出的模型的性能优于单个参与方仅基于本地数据训练出的模型的性能，甚至使得原本仅基于本地数据无法训练出模型的参与方也能够在其它参与方的帮助下训练出自己的模型。因此，联邦学习对于各参与方的机器性能和功能都具有极大的改进。
[0003]纵向联邦学习作为联邦学习的一个分支，同样具有联邦学习的上述技术优点。纵向联邦学习通常发生在各参与方的数据样本有较大的重叠但样本特征的重叠度不高的场景下。例如，同一地区的银行和商场具有较多相同的用户，但是由于该银行和商场向这些用户提供不同的服务，因此它们拥有这些用户不同方面的数据。由于数据监管等的需要，它们的用户数据不能共享，但它们可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于纵向联邦学习的模型更新的方法，其中，第一通信设备和第二通信设备构成纵向联邦学习的学习组，所述方法由第一通信设备执行，包括：从第二通信设备接收第一中间参数密文，其中，第一中间参数密文是第二通信设备使用其公钥对基于第二通信设备的本地模型和本地训练数据得到的第一中间参数进行加密产生的，以及其中，第二通信设备具有公钥和私钥对，该公钥被第二通信设备预先发送给第一通信设备；将接收到的第一中间参数密文和由第一通信设备产生的第二中间参数密文进行聚合，得到聚合参数密文，其中，第二中间参数密文是第一通信设备使用第二通信设备的公钥对基于第一通信设备的本地模型和本地训练数据得到的第二中间参数进行加密产生的；基于聚合参数密文，得到第一通信设备的梯度密文；使用第一随机数对第一通信设备的梯度密文进行盲化，并将盲化后的第一通信设备的梯度密文发送给第二通信设备，以使第二通信设备使用其私钥对盲化后的第一通信设备的梯度密文进行解密，从而得到盲化后的第一通信设备的梯度；使用第一随机数对从第二通信设备接收到的盲化后的第一通信设备的梯度进行去盲化，以得到第一通信设备的梯度，从而使用该梯度对第一通信设备的本地模型进行更新。2.根据权利要求1所述的方法，其中，在第一通信设备得到聚合参数密文之后，所述方法进一步包括：使用第二随机数对聚合参数密文进行盲化，并将盲化后的聚合参数密文发送给第二通信设备，以使第二通信设备基于第二通信设备的本地训练数据和盲化后的聚合参数密文得到盲化后的第二通信设备的部分梯度因子密文；使用第二随机数对从第二通信设备接收到的盲化后的第二通信设备的部分梯度因子密文进行去盲化以得到第二通信设备的部分梯度因子密文，并将第二通信设备的部分梯度因子密文相加以得到第二通信设备的部分梯度密文；将第二通信设备的部分梯度密文发送给第二通信设备，以使第二通信设备使用其私钥对第二通信设备的部分梯度密文进行解密，并根据解密得到的第二通信设备的部分梯度计算第二通信设备的梯度，从而基于该梯度对第二通信设备的本地模型进行更新。3.根据权利要求1或2所述的方法，进一步包括：基于由第一通信设备产生的第一损失函数值密文和从第二通信设备接收的第二损失函数值密文，计算学习组的损失函数值密文，其中，第一损失函数值密文是第一通信设备使用第二通信设备的公钥对基于第一通信设备的本地模型和本地训练数据得到的第一损失函数值进行加密产生的，第二损失函数值密文是第二通信设备使用其公钥对基于第二通信设备的本地模型和本地训练数据得到的第二损失函数值进行加密产生的；使用第三随机数对学习组的损失函数值密文进行盲化，并将盲化后的学习组的损失函数值密文发送给第二通信设备，以使第二通信设备使用其私钥对盲化后的学习组的损失函数值密文进行解密，从而得到盲化后的学习组的损失函数值；从第二通信设备接收另一盲化后的学习组的损失函数值密文，所述另一盲化后的学习组的损失函数值密文是第二通信设备使用第一通信设备的公钥对盲化后的学习组的损失函数值进行加密产生的，其中，第一通信设备具有与第二通信设备的公钥和私钥对不同的公钥和私钥对，第一通信设备的公钥被预先发送给第二通信设备；
使用第一通信设备的私钥对所述另一盲化后的学习组的损失函数值密文进行解密，以得到盲化后的学习组的损失函数值，并使用第三随机数对盲化后的学习组的损失函数值进行去盲化以得到学习组的损失函数值；根据学习组的损失函数值确定模型训练是否收敛，并将指示模型训练是否收敛的标志发送给第二通信设备。4.根据权利要求3所述的方法，其中，当所述标志指示模型训练没有收敛时，重新开始执行接收第一中间参数密文的步骤，直到根据新得到的学习组的损失函数值再次确定模型训练是否收敛。5.根据权利要求3所述的方法，其中，第一随机数、第二随机数和第三随机数中的至少一个是通过预定长度的随机比特产生的。6.根据权利要求1或2所述的方法，其中，所述使用第一随机数对从第二通信设备接收到的盲化后的第一通信设备的梯度进行去盲化，以得到第一通信设备的梯度包括：从第二通信设备接收另一盲化后的第一通信设备的梯度密文，所述另一盲化后的第一通信设备的梯度密文是第二通信设备使用第一通信设备的公钥对盲化后的第一通信设备的梯度进行加密产生的，其中，第一通信设备具有与第二通信设备的公钥和私钥对不同的公钥和私钥对，第一通信设备的公钥被预先发送给第二通信设备；使用第一通信设备的私钥对所述另一盲化后的第一通信设备的梯度密文进行解密，以得到盲化后的第一通信设备的梯度，并使用第一随机数对盲化后的第一通信设备的梯度进行去盲化，以得到第一通信设备的梯度。7.一种用于纵向联邦学习的模型更新的方法，其中，第一通信设备和第二通信设备构成纵向联邦学习的学习组，所述方法由第二通信设备执行，包括：向第一通信设备发送第一中间参数密文，以使第一通信设备将接收到的第一中间参数密文和第二中间参数密文进行聚合来得到聚合参数密文，其中，第一中间参数密文是第二通信设备使...

【专利技术属性】
技术研发人员：周旭华，王益斌，刘天琪，杨诗友，严梦嘉，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：