一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及系统技术方案

一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及系统，涉及数据隐私保护技术领域。本发明专利技术的技术要点包括：参与方完成训练上传梯度数据时，由智能合约自动添加与梯度哈希值相关的噪声值，区块链中存储的是添加噪声后的梯度，无法直接通过梯度泄露方法恢复用户数据；中心服务器聚合数据时，参与方将梯度数据的哈希值作为参数调用智能合约，智能合约对上传的梯度数据验证后进行下一步操作；智能合约重新计算噪声值并随机分成若干份，并将每一份都保存在区块链中；中心服务器聚合数据时所需的噪声和由智能合约计算所有参与方的共享噪声值后直接返回噪声和；最终计算出最新模型参数。本发明专利技术有效解决了用户隐私泄露问题且改善了模型精度下降问题。了模型精度下降问题。了模型精度下降问题。

【技术实现步骤摘要】
一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及系统


[0001]本专利技术涉及数据隐私保护
，具体涉及一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及系统。

技术介绍

[0002]随着网络通信的进一步发展，互联网需要更高级别的安全性和更强的隐私保护要求。机器学习需要利用大量的数据进行训练，但对数据和隐私的保护使数据难以流通而形成数据孤岛，无法释放数据的更大价值。基于中央服务器的传统机器学习面临着严重的隐私和安全挑战，无法为未来网络实现无处不在的安全人工智能。此外，由于集中式数据聚合和处理带来的巨大开销，传统的集中式机器学习方案可能不适用于无处不在的人工智能。
[0003]联邦学习作为一种新兴的分布式机器学习方案，为解决机器学习面临的隐私和安全问题提供了新的解决思路。在联邦学习中，参与设备通过其本地数据协同训练共享模型，与传统机器学习方案不同，仅将模型更新而不是原始数据上传到集中参数服务器。虽然联邦学习为人工智能的发展提供了不同的解决思路，显著改善了隐私敏感应用程序，但联邦学习仍处于开发的早期阶段，面临着新的挑战。
[0004]与传统机器学习方案不同，联邦学习将模型更新而不是原始数据上传到集中参数服务器，这一方法为机器学习提供了较为严密的隐私防护，原始数据数据始终保存在本地，避免了隐私的直接泄露。然而，根据最新研究表明，模型更新的过程仍然面临着隐私泄露的风险，恶意参与方可以通过获取用户训练过程中的梯度更新，推断出用户数据，为联邦学习的数据安全和用户隐私带来极大的威胁。
[0005]为解决联邦学习中梯度泄露带来的隐私问题，现有技术主要有两种解决思路：1.利用同态加密等密码学方案对更新的模型参数加密后上传至中心服务器，将更新模型参数使用密码学方案进行加密，仅有中心服务器可以解密并聚合为新模型。该方案中，保证了其他参与方难以获取用户梯度，但中心服务器可以直接获取用户梯度参数，从而存在泄露用户隐私的可能；2.为模型添加噪声，用户上传梯度参数时，为数据添加适当噪声，使参与方无法直接获取每轮训练梯度，从而难以恢复数据。经实验证明，添加噪声在一定程度上可以保护隐私，但是对联邦学习的训练精度及训练速度造成严重影响。

技术实现思路

[0006]为此，本专利技术提出一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及系统，以力图解决或者至少缓解上面存在的至少一个问题。
[0007]根据本专利技术的一方面，提供一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，在联邦学习模型的训练过程中按照下述过程进行梯度更新，以对每个参与方的本地训练数据进行隐私保护：
[0008]区块链系统接收每个参与方上传的第一梯度和第一哈希值；其中，第一梯度是每
个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练获取的；第一哈希值是根据第一梯度计算获取的；
[0009]对于每个第一梯度，所述区块链系统计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；
[0010]对于每个第一哈希值，所述区块链系统以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；
[0011]所述区块链系统将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给中心服务器；
[0012]所述中心服务器根据所述噪声值和及添加噪声后的第一梯度计算平均梯度；根据平均梯度进行梯度更新。
[0013]进一步地，所述第一梯度的计算公式为：
[0014][0015]其中，W
t
表示联邦学习模型的训练过程中第t轮的模型权重参数；x
t,i
，y
t,i
分别表示参与方i在第t轮的数据输入及对应的标签；F(
·
)表示输入数据在当前模型参数下的预测值；l(
·
)表示利用预测值与真实标签构造的损失函数。
[0016]进一步地，所述平均梯度的计算公式为：
[0017][0018]式中，N表示参与方的总数；表示添加噪声后的第一梯度；R表示噪声值和。
[0019]进一步地，根据平均梯度进行梯度更新的公式为：
[0020][0021]式中，η表示学习率。
[0022]根据本专利技术的另一方面，提供一种基于区块链的抗联邦学习梯度攻击的隐私保护系统，该系统包括多个参与方、中心服务器和区块链系统；其中，所述多个参与方中的每个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练，获取第一梯度；并根据第一梯度计算获取第一哈希值；将第一梯度和第一哈希值上传至所述区块链系统；
[0023]所述区块链系统包括添加噪声智能合约模块、共享噪声值智能合约模块、噪声和智能合约模块；其中，
[0024]所述添加噪声智能合约模块用于：接收每个参与方上传的第一梯度和第一哈希值；对于每个第一梯度，计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；
[0025]所述共享噪声值智能合约模块用于：对于每个第一哈希值，以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第
二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；
[0026]所述噪声和智能合约模块用于：将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给所述中心服务器；
[0027]所述中心服务器用于根据所述噪声值和及添加噪声后的第一梯度计算平均梯度，并根据平均梯度进行梯度更新。
[0028]进一步地，所述第一梯度的计算公式为：
[0029][0030]其中，W
t
表示联邦学习模型的训练过程中第t轮的模型权重参数；x
t,i
，y
t,i
分别表示参与方i在第t轮的数据输入及对应的标签；F(
·
)表示输入数据在当前模型参数下的预测值；l(
·
)表示利用预测值与真实标签构造的损失函数。
[0031]进一步地，所述平均梯度的计算公式为：
[0032][0033]式中，N表示参与方的总数；表示添加噪声后的第一梯度；R表示噪声值和。
[0034]进一步地，根据平均梯度进行梯度更新的公式为：
[0035][0036]式中，η表示学习率。
[0037]本专利技术的有益技术效果是：
[0038]本专利技术提出一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及系统，有效解决了联邦学习模型梯度泄露本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，其特征在于，在联邦学习模型的训练过程中按照下述过程进行梯度更新，以对每个参与方的本地训练数据进行隐私保护：区块链系统接收每个参与方上传的第一梯度和第一哈希值；其中，第一梯度是每个参与方根据中心服务器共享的模型参数，利用本地训练数据进行训练获取的；第一哈希值是根据第一梯度计算获取的；对于每个第一梯度，所述区块链系统计算第一梯度对应的第二哈希值；以所述第二哈希值为随机数种子产生第一噪声值，将第一噪声值和第一梯度相加，获取添加噪声后的第一梯度；对于每个第一哈希值，所述区块链系统以所述第一哈希值为随机数种子产生第二噪声值，并将添加噪声后的第一梯度和所述第二噪声值相减，获取第二梯度；计算第二梯度的哈希值，判断第二梯度的哈希值是否与所述第一哈希值相同，若相同则说明参与方上传的第一梯度没有被更改；并将每个参与方对应的第二噪声值划分成多份；所述区块链系统将多个参与方对应的多个第二噪声值进行求和，将获取的噪声值和传送给中心服务器；所述中心服务器根据所述噪声值和及添加噪声后的第一梯度计算平均梯度；根据平均梯度进行梯度更新。2.根据权利要求1所述的一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，其特征在于，所述第一梯度的计算公式为：其中，W
t
表示联邦学习模型的训练过程中第t轮的模型权重参数；x
t,i
，y
t,i
分别表示参与方i在第t轮的数据输入及对应的标签；F(
·
)表示输入数据在当前模型参数下的预测值；l(
·
)表示利用预测值与真实标签构造的损失函数。3.根据权利要求2所述的一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，其特征在于，所述平均梯度的计算公式为：式中，N表示参与方的总数；
▽
W
i
'表示添加噪声后的第一梯度；R表示噪声值和。4.根据权利要求3所述的一种基于区块链的抗联邦学习梯度攻击的隐私保护方法，其特征在于，根据平均梯度进行梯度更新的公式为：式中，η表示学习率。5.一种基于区块链的抗联邦学习梯度攻击的隐私保护系统，其特征在于，包括多个参与方、中...

【专利技术属性】
技术研发人员：晏宗明，文建良，郭正涛，
申请(专利权)人：联通灵境视讯江西科技有限公司，
类型：发明
国别省市：