本申请提供一种联邦学习方法、装置、电子设备及存储介质，用于改善目前联邦学习过程的安全性较低的问题。该方法包括：接收无标签方设备发送的密态梯度随机值，无标签方设备上存储有样本数据，密态梯度随机值是对样本数据对应的损失值进行同态加密并加随机数获得的；对密态梯度随机值进行同态解密，获得梯度随机值；在梯度随机值中添加噪声值，获得加噪梯度随机值；向无标签方设备发送加噪梯度随机值，以使无标签方设备根据加噪梯度随机值对本地模型进行联邦学习。模型进行联邦学习。模型进行联邦学习。
【技术实现步骤摘要】
一种联邦学习方法、装置、电子设备及存储介质
[0001]本申请涉及机器学习和联邦学习的
，具体而言，涉及一种联邦学习方法、装置、电子设备及存储介质。
技术介绍
[0002]联邦机器学习(Federated Machine Learning，FML)，又被称为联邦学习(Federated Learning)、联合学习或者联盟学习，是一种机器学习技术，具体来说就是人们在多个拥有本地数据样本的分散式边缘设备或服务器上训练算法；这种方法与传统的集中式机器学习技术有显著不同，传统的集中式机器学习技术将所有的本地数据集上传到一个服务器上，而更经典的分散式方法则通常假设本地数据样本都是相同分布的。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和法律法规的要求下，进行数据使用和机器学习建模。
[0003]在目前的联邦学习过程中，有标签方设备和无标签方设备可以相互通信；无标签方设备是指存储有用于训练模型的样本数据的设备，而有标签方设备是指存储有该样本数据对应样本标签的设备。有标签方设备需要在无需获知无标签设备上明文存储的样本数据的情况下，计算出样本数据对应预测标签与样本标签的损失值，并将损失值发送给无标签方设备，以使无标签方设备根据损失值计算出梯度值，使用梯度值对本地模型进行训练。在具体的实践过程中发现，目前联邦学习过程的安全性较低。
技术实现思路
[0004]本申请实施例的目的在于提供一种联邦学习方法、装置、电子设备及存储介质，用于改善目前联邦学习过程的安全性较低的问题。
[0005]本申请实施例提供了一种联邦学习方法，包括：接收无标签方设备发送的密态梯度随机值，无标签方设备上存储有样本数据，密态梯度随机值是对样本数据对应的损失值进行同态加密并加随机数获得的；对密态梯度随机值进行同态解密，获得梯度随机值；在梯度随机值中添加噪声值，获得加噪梯度随机值；向无标签方设备发送加噪梯度随机值，以使无标签方设备根据加噪梯度随机值对本地模型进行联邦学习。在上述的实现过程中，通过在获得的梯度随机值中添加噪声值，获得加噪梯度随机值；向无标签方设备发送加噪梯度随机值，使得无标签方设备难以使用梯度值、预测标签和样本数据破解出有标签设备上存储的样本标签，从而有效地提高了联邦学习的安全性。
[0006]可选地，在本申请实施例中，在梯度随机值中添加噪声值，包括：使用局部差分隐私算法生成噪声值，并在梯度随机值中添加噪声值。在上述的实现过程中，通过使用局部差分隐私算法生成噪声值，由于局部差分隐私算法只考虑本地数据集的统计学特性，从而让多方联邦学习或者多方安全计算的过程中，更好地避免了本地数据泄露到其他设备的风险，从而有效地提高了联邦学习的安全性。
[0007]可选地，在本申请实施例中，在接收无标签方设备发送的密态梯度随机值之前，还
包括：获取密态损失值，密态损失值是有标签方设备计算出来的，有标签方设备是存储有样本数据对应的样本标签的设备；向无标签方设备发送密态损失值，以使无标签方设备根据密态损失值计算密态梯度值，并将密态梯度值加上生成的随机数，获得并返回密态梯度随机值。在上述的实现过程中，通过向无标签方设备发送密态损失值，以使无标签方设备根据密态损失值计算密态梯度值，并将密态梯度值加上生成的随机数，获得并返回密态梯度随机值，从而避免了梯度值在明文状态下泄露给无标签方设备的问题，从而有效地提高了联邦学习的安全性。
[0008]可选地，在本申请实施例中，获取密态损失值，包括：向有标签方设备发送中心服务器的公钥，以使有标签方设备使用公钥对获得的损失值进行同态加密，获得并返回密态损失值；接收有标签方设备发送的密态损失值。
[0009]本申请实施例还提供了一种联邦学习方法，应用于无标签方设备，包括：获取密态损失值，根据密态损失值和无标签方设备上存储的样本数据计算出密态梯度值，密态损失值是同态加密获得的；将密态梯度值加上生成的随机数，获得密态梯度随机值；向中心服务器发送密态梯度随机值，以使中心服务器从密态梯度随机值使用解密出梯度随机值，并在梯度随机值中添加噪声值，获得并返回加噪梯度随机值；接收中心服务器发送的加噪梯度随机值，并将加噪梯度随机值减去随机数，获得加噪梯度值，加噪梯度值用于对本地模型进行联邦学习。在上述的实现过程中，通过在获得的梯度随机值中添加噪声值，获得加噪梯度随机值；向无标签方设备发送加噪梯度随机值，使得无标签方设备难以使用梯度值、预测标签和样本数据破解出有标签设备上存储的样本标签，从而有效地提高了联邦学习的安全性。
[0010]可选地，在本申请实施例中，获取密态损失值，包括：获取本地模型的模型参数和样本数据，并计算模型参数和样本数据之间的内积结果；向有标签方设备发送内积结果，以使有标签方设备计算内积结果对应的预测标签，并计算预测标签与内积结果对应的样本标签之间的损失值，然后，使用中心服务器的公钥对损失值进行同态加密，获得并返回密态损失值；接收有标签方设备发送的密态损失值。在上述的实现过程中，通过获取本地模型的模型参数和样本数据，并计算模型参数和样本数据之间的内积结果；向有标签方设备发送内积结果，从而避免了直接将样本数据明文泄露给有标签方设备的问题，而是只泄露模型参数和样本数据之间的内积结果给有标签方式设备，从而有效地提高了联邦学习的安全性。
[0011]本申请实施例还提供了一种联邦学习装置，应用于中心服务器，包括：密态梯度接收模块，用于接收无标签方设备发送的密态梯度随机值，无标签方设备上存储有样本数据，密态梯度随机值是对样本数据对应的损失值进行同态加密并加随机数获得的；密态梯度解密模块，用于对密态梯度随机值进行同态解密，获得梯度随机值；梯度随机加噪模块，用于在梯度随机值中添加噪声值，获得加噪梯度随机值；加噪梯度发送模块，用于向无标签方设备发送加噪梯度随机值，以使无标签方设备根据加噪梯度随机值对本地模型进行联邦学习。
[0012]可选地，在本申请实施例中，梯度随机加噪模块，包括：差分隐私生成模块，用于使用局部差分隐私算法生成噪声值，并在梯度随机值中添加噪声值。
[0013]可选地，在本申请实施例中，联邦学习装置，还包括：密态损失获取模块，用于获取密态损失值，密态损失值是有标签方设备计算出来的，有标签方设备是存储有样本数据对
应的样本标签的设备；密态损失发送模块，用于向无标签方设备发送密态损失值，以使无标签方设备根据密态损失值计算密态梯度值，并将密态梯度值加上生成的随机数，获得并返回密态梯度随机值。
[0014]可选地，在本申请实施例中，密态损失获取模块，包括：公钥同态加密模块，用于向有标签方设备发送中心服务器的公钥，以使有标签方设备使用公钥对获得的损失值进行同态加密，获得并返回密态损失值；密态损失接收模块，用于接收有标签方设备发送的密态损失值。
[0015]本申请实施例还提供了一种联邦学习装置，应用于无标签方设备，包括：密态梯度计算模块，用于获取密态损失值，根据密态损失值和无标签方设备上存储的样本数据计算出密态梯度值，密态损失值是本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种联邦学习方法，其特征在于，包括：接收无标签方设备发送的密态梯度随机值，所述无标签方设备上存储有样本数据，所述密态梯度随机值是对所述样本数据对应的损失值进行同态加密并加随机数获得的；对所述密态梯度随机值进行同态解密，获得梯度随机值；在所述梯度随机值中添加噪声值，获得加噪梯度随机值；向无标签方设备发送所述加噪梯度随机值，以使所述无标签方设备根据所述加噪梯度随机值对本地模型进行联邦学习。2.根据权利要求1所述的方法，其特征在于，所述在所述梯度随机值中添加噪声值，包括：使用局部差分隐私算法生成所述噪声值，并在所述梯度随机值中添加所述噪声值。3.根据权利要求1
‑
2任一所述的方法，其特征在于，在所述接收无标签方设备发送的密态梯度随机值之前，还包括：获取密态损失值，所述密态损失值是有标签方设备计算出来的，所述有标签方设备是存储有所述样本数据对应的样本标签的设备；向所述无标签方设备发送所述密态损失值，以使所述无标签方设备根据所述密态损失值计算密态梯度值，并将所述密态梯度值加上生成的随机数，获得并返回所述密态梯度随机值。4.根据权利要求3所述的方法，其特征在于，所述获取密态损失值，包括：向所述有标签方设备发送公钥，以使所述有标签方设备使用所述公钥对获得的损失值进行同态加密，获得并返回所述密态损失值；接收所述有标签方设备发送的所述密态损失值。5.一种联邦学习方法，其特征在于，应用于无标签方设备，包括：获取密态损失值，根据所述密态损失值和所述无标签方设备上存储的样本数据计算出密态梯度值，所述密态损失值是同态加密获得的；将所述密态梯度值加上生成的随机数，获得密态梯度随机值；向中心服务器发送所述密态梯度随机值，以使所述中心服务器从所述密态梯度随机值使用解密出梯度随机值，并在所述梯度随机值中添加噪声值，获得并返回加噪梯度随机值；接收...
【专利技术属性】
技术研发人员：陈立峰，卞阳，李腾飞，
申请(专利权)人：上海富数科技有限公司广州分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。