本发明专利技术属于机器学习隐私与安全技术领域，提供了一种区块链架构下的联邦学习混合聚合机制。使用本地服务器作为管理和矿工节点，将网络划分为多个由本地服务器和终端设备组成的本地域，以及本地服务器连接组成的域间网络。在本地域内，使用满足本地差分隐私的编码算法进行梯度选取，防御梯度指数攻击；使用满足本地差分隐私的扰动算法进行梯度扰动，防御梯度内容攻击；使用本地服务器的公钥对梯度进行加密，防御窃听攻击；使用洗牌服务器对用户更新进行洗牌并采样，防御用户身份攻击。使用本地服务器对域内更新进行解密并聚合，在域间使用基于沙普利值的更新评估和共识机制进行奖励发放和模型更新，域内用户平分奖励，保障用户的隐私性。用户的隐私性。用户的隐私性。
【技术实现步骤摘要】
一种区块链架构下的联邦学习混合聚合机制
[0001]本专利技术涉及一种基于区块链和差分隐私放大机制的联邦学习混合聚合机制，属于机器学习安全域隐私
技术介绍
[0002]机器学习可以通过集中收集大量的数据和训练多个预测模型来为用户提供个性化的服务。然而，在实际应用中，数据通常分布在不同的组织中。联邦学习在本地训练后聚合用户的模型更新，而不是原始数据来更新全局模型，这解决了传统机器学习中的数据隔离问题，提供了更好的数据隐私，但仍然面临多种隐私攻击。
[0003]在联邦学习任务模型中，本地用户经过训练后将梯度作为模型的更新上传，梯度的维度会随着训练数据维度的增加而增加。为了提高更新效率，联邦学习的每次更新都会选择部分梯度上传，但这可能会泄露用户隐私，因为攻击者可以通过监听和基于背景知识的推断，对本地模型更新的内容及其上传者的身份进行隐私攻击，以获取用户更新的内容或定位用户记录。一般来说，用户隐私仍然面临来自用户身份、梯度指数和梯度内容的隐私威胁。
[0004]用户身份隐私指的是攻击者可以基于监听或推理攻击获得用户更新行为或身份信息。例如，攻击者基于信道监听和背景知识推测攻击，确定用户何时开始更新，用户是否参与某轮上传，或哪个更新对应于某个特定用户。梯度指数隐私是指攻击者根据获得的梯度指数推断出用户数据或身份的威胁。例如，攻击者确定某个梯度是否属于用户的较大梯度，或者某些信息是否包含在用户的训练数据中。梯度内容隐私是指攻击者根据获得的梯度内容推断用户训练数据的威胁。例如，攻击者根据某个特定用户的显著特征确定其是否参与上传，或根据多次更新的背景知识推断出用户隐私。
[0005]为了减轻联邦学习中的隐私威胁，差分隐私因为其严格的隐私约束被广泛用来对更新进行扰动以抵御各种推理攻击。在满足差分隐私的联邦学习模型中，一个受信任的中央服务器聚合来自用户的原始本地更新，并在发布全局模型之前执行隐私扰动。在更隐私的满足本地差分隐私的联邦学习模型中，用户可以同步或异步地扰动并上传他们的更新到一个不受信任的中央服务器，避免了隐私推断攻击。在减少联邦学习的隐私威胁的同时，差分隐私在数据可用性方面带来了新的问题。
[0006]一方面，基于扰动的差分隐私会降低联邦学习训练中的数据可用性。因为差分隐私通过引入隐私预算来调节扰动量，没有协调数据隐私和可用性的冲突。本地更新维度的增加导致分配给每个维度的预算降低，扰动增加，从而降低数据可用性。同时，本地差分隐私比差分隐私引入了更多的扰动。另一方面，大量的扰动给联邦学习数据评估带来了可用性问题，因为扰动引入的误差给用户更新的质量评估和联邦学习的激励机制带来了挑战。在联邦学习中，用户设备在进行本地模型训练、扰动和上传时产生了大量的开销。因此，合理的更新评估和激励机制对于提高用户参与更新的积极性是必要的。然而，大量的扰动使得服务器很难评估用户的更新并合理地分配用户的奖励。更糟糕的是，用于更新聚合和评
估的中央服务器的隐私和可信度可能会被服务提供商、攻击者或恶意服务器所破坏。
[0007]为了解决服务器带来的隐私和数据评估的可用性问题，基于区块链的联邦学习被广泛研究，因为区块链网络结构可以消除中央服务器带来的单点故障和信任问题。同时，基于用户更新质量的区块链共识机制与联邦学习的激励机制不谋而合，这使得区块链网络的联邦学习模型更新可以高效部署。然而，基于区块链的联邦学习模型中每次更新质量的共识需要很高的计算开销。此外，本地差分隐私引入的扰动使基于区块链的联邦学习无法准确评估用户贡献以实现合理的奖励分配。因此，基于区块链的联邦学习并没有解决本地差分隐私带来的数据可用性降低的问题，这甚至削弱了基于区块链的联邦学习的共识机制。
技术实现思路
[0008]为了解决数据隐私和可用性方面的挑战，本专利技术提出了一种区块链架构下基于子采样、洗牌和沙普利值的联邦学习混合聚合机制，在确保数据可用性的同时增强用户隐私。使用网络中的本地服务器作为管理节点和矿工节点，将网络划分为多个由本地服务器和接入的终端设备组成的本地域，以及由多个本地服务器连接组成的域间区块链网络。为了在保证隐私性的同时提高训练中的数据可用性，在用户端对梯度进行满足本地差分隐私的扰动来保护梯度隐私，并对梯度进行子采样选取来放大保护梯度指数隐私；使用洗牌服务器对用户上传的梯度更新进行二次子采样和洗牌来放大保护用户身份隐私，进而减少扰动量，提高训练中的数据可用性。为了在保证隐私性的同时提高评估中的数据可用性，本地域内的更新在本地服务器处进行隐私聚合，然后本地服务器间使用沙普利值对聚合更新进行有效评估和区块链共识，实现基于本地域内隐私聚合和本地域间高效评估的混合聚合机制，在保证隐私的同时给每个本地域的更新上传者平均发放奖励。
[0009]为了达到上述目的，本专利技术采用的技术方案为：
[0010]一种区块链架构下的联邦学习混合聚合机制，具体是一种基于本地差分隐私和梯度选取的隐私保护和放大机制，基于子采样和洗牌的本地差分隐私放大机制，基于混合聚合和沙普利值的域间更新评估聚合机制，首先定义如表1所示的变量：
[0011]表1常用的变量及说明
[0012][0013][0014]具体步骤如下：
[0015](1)首先在用户收集本地训练数据后，基于网络内发布的联邦学习任务模型进行本地训练，得到模型更新梯度。为了提升数据隐私性和可用性，基于满足本地差分隐私的编码算法进行梯度选取，并使用满足本地差分隐私的扰动算法进行梯度扰动，然后使用本地服务器的公钥对梯度进行加密后发送给洗牌服务器。使选取后的梯度防御梯度指数攻击，扰动后的梯度防御梯度推测攻击，加密后的梯度防御来自本地服务器外的内容攻击。
[0016]基于本地差分隐私和梯度选取的隐私保护和放大机制的构建，具体过程如下：
[0017](1.1)首先，用户在本地训练要上传的梯度更新。本地用户获取存储在本地服务器的联邦学习任务模型和全局参数，以本地存储的数据作为训练数据对联邦学习任务模型进行训练，并提取训练后的梯度；
[0018](1.2)选取上传梯度。获取梯度选取的隐私预算ε
k
，基于满足本地差分隐私的梯度
选择编码算法对要上传的梯度进行选取，防御针对梯度指数的隐私攻击。首先梯度按绝对值大小分为k个更新率高的梯度和d
‑
k个更新率低的梯度，为防御针对梯度指数的隐私攻击，对于梯度选取的隐私预算ε
k
，攻击者判断两个相邻数据集中某梯度属于高更新率梯度的概率差异应小于
[0019][0020]其中，x和x
′
表示相差一个梯度的相邻本地用户梯度更新；表示满足本地差分隐私的梯度选择编码算法；topk表示高更新率梯度的集合；和
[0021]分别表示对x和x
′
进行梯度选取后梯度属于高更新梯度的概率。
[0022]因此基于隐私预算ε
k
分别构建高更新率梯度和低更新率梯度的选取概率公式，使梯度选取满足ε
k
本地本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种区块链架构下的联邦学习混合聚合机制，其特征在于，步骤如下：(1)首先在用户收集本地训练数据后，基于网络内发布的联邦学习任务模型进行本地训练，得到模型更新梯度；为了提升数据隐私性和可用性，基于满足本地差分隐私的梯度选择编码算法进行梯度选取，并使用满足本地差分隐私的扰动算法进行梯度扰动，然后使用本地服务器的公钥对梯度进行加密后发送给洗牌服务器；使选取后的梯度防御梯度指数攻击，扰动后的梯度防御梯度推测攻击，加密后的梯度防御来自本地服务器外的内容攻击；基于本地差分隐私和梯度选取的隐私保护和放大机制的构建，具体过程如下：(1.1)首先，用户在本地训练要上传的梯度更新；本地用户获取存储在本地服务器的联邦学习任务模型和全局参数，以本地存储的数据作为训练数据对联邦学习任务模型进行训练，并提取训练后的梯度；(1.2)选取上传梯度；获取梯度选取的隐私预算ε
k
，基于满足本地差分隐私的梯度选择编码算法对要上传的梯度进行选取，防御针对梯度指数的隐私攻击；首先梯度按绝对值大小分为k个更新率高的梯度和d
‑
k个更新率低的梯度，为防御针对梯度指数的隐私攻击，对于梯度选取的隐私预算ε
k
，攻击者判断两个相邻数据集中某梯度属于高更新率梯度的概率差异应小于差异应小于其中，x和x
′
表示相差一个梯度的相邻本地用户梯度更新；表示满足本地差分隐私的梯度选择编码算法；topk表示高更新率梯度的集合；和分别表示对x和x
′
进行梯度选取后梯度属于高更新梯度的概率；因此基于隐私预算ε
k
分别构建高更新率梯度和低更新率梯度的选取概率公式，使梯度选取满足ε
k
本地差分隐私：其中，表示x中第i个梯度x
i
被随机梯度选取算法选中的概率，ε
k
为梯度选取的隐私预算；(1.3)对选取的梯度进行隐私扰动；获取梯度扰动的隐私预算ε
l
，将ε
l
平均分配给满足本地差分隐私的扰动算法，每个梯度的扰动预算为其中k为梯度选取的个数，对选中的梯度进行满足本地化差分隐私的扰动，防御针对梯度内容的隐私攻击；(1.4)计算和比较隐私放大约束；对于隐私放大前的本地差分隐私约束(ε
l
,δ
l
)，ε
l
平均分配给每个梯度扰动后为基于差分隐私的组合原理和子采样的放大原理，基于梯度选取的隐私放大约束(ε
dk
,δ
dk
)为：
其中，表示本地扰动的隐私组合约束；表示梯度子采样...
【专利技术属性】
技术研发人员：李欣姣，吴国伟，姚琳，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。