【技术实现步骤摘要】
本专利技术涉及联邦学习、隐私保护、聚合结果的验证。具体涉及一种云边协同环境下可验证的安全聚合联邦学习方案。
技术介绍
1、在联邦学习的过程中，存在着隐私泄露、聚合结果不正确以及用户掉线的问题，即用户上传的参数可能会泄露用户的隐私、恶意或懒惰的服务器可能返回不正确的聚合结果以及由于网络波动而导致处于终端结点的用户掉线的问题。
2、联邦学习(federated learning)作为一种分布式机器学习，可以在训练的过程中保护用户的本地数据，实现数据的可用而不可见。在经典的联邦学习过程中，一般存在两种实体：n个用户以及1个云服务器。其中，所有用户根据全局模型基于本地数据集进行训练，然后将训练出的参数分享给云服务器，由云服务器聚合用户的参数并将聚合结果返回给用户，用户根据聚合结果更新全局模型，并开始下一轮的训练。这避免了泄露用户的本地数据集，实现了对用户本地数据集的隐私保护。但是在这个过程中仍然存在一些问题。首先是隐私泄露的问题，随着攻击技术的发展，已经有研究证明了攻击者可以从上传的参数中推断出用户的本地训练数据。其次是聚合结果不正确的问题，如果云服务器是懒惰的，那么云服务器可能会为了节约计算资源，而使用更加简便但不正确的聚合方式来聚合用户上传的参数，而这将导致不正确的聚合结果。此外，如果云服务器是恶意的，那么云服务器可能直接篡改参数返回错误的聚合结果。最后，由于终端设备(手机，电脑等物联网设备)电力问题或者网络问题，用户可能随时掉线。
3、下面就是云边协同环境下可验证的安全聚合联邦学习中所使用的一些技术：>
4、云边协同(cloud ege collaboration)架构是一种将云计算和边缘计算紧密结合的架构，通过有效地协同利用云端和边缘资源，为用户提供更加灵活、高效和全面的服务。在这种架构下，云端和边缘节点相互协作，形成一个统一的服务体系，实现资源的动态分配和任务的智能调度。
5、同态哈希函数(homomorphic hash functions)可以验证我们的聚合结果。假设把一个文件划分为n个文件块，同态哈希可以为每一个文件块计算出哈希值。然后我们可以聚合所有文件块的哈希值，最终得到原文件的哈希值。因此对于需要聚合在一块的数据，我们可以先计算其各个部分数据的哈希值，最后再聚合部分数据的哈希值来得到整体数据的哈希值。具体来讲其中xi是文件块，且是一个长度为m的向量，xi,j是文件块xi的第j维的元素，p是随机大素数，aj是从乘法循环群中随机选择的m个互素的整数。
6、掩码技术是一种为秘密添加噪声来保护秘密的技术。具体来说，加密方根据设计的函数生成一种噪声(常见的噪声有高斯噪声、拉普拉斯噪声)，然后将该噪声添加到明文中，生成密文。这种加密方式可以极大地减小计算开销。
7、在以往的隐私保护的联邦学习方案中，其中对用户梯度的隐私保护技术大致可以分为三类：安全多方计算(mpc)、同态加密(he)、差分隐私(dp)。其中差分隐私技术采用添加噪声的方式来实现对用户梯度的隐私保护，这极大地减小了计算开销，但是却导致模型精度损失的问题。而安全多方计算和同态加密能够保持模型的精度不变，同时实现高度的隐私保护特性，但是存在通信和计算开销较大的问题。
8、在许多验证聚合结果的联邦学习方案中，用户一般将本地更新以及本地更新的验证证明(以下简称证明)均发送给服务器，服务器对本地更新进行聚合，然后将本地更新以及所有用户的证明分发给用户。用户使用所有用户的证明通过设计的算法对本地更新的聚合结果进行验证，从而判断聚合结果是否被篡改。这种方案实现了对聚合结果正确性的验证，但是由于使用单一的服务器，所以仍然存在一些安全问题，同时证明的分发过程也产生了巨大的通信开销。
技术实现思路
1、为了解决上述问题，本专利技术提供一种高效的、较低开销的云边协同环境下可验证的安全聚合联邦学习方案。针对梯度的隐私保护问题，本专利技术结合两方安全计算以及掩码技术设计了一个计算高效并且无精度损失的隐私保护算法。针对聚合结果的正确性验证问题，本专利技术结合两方安全计算以及同态哈希函数设计了一个低通信开销的验证算法。针对用户掉线问题，本专利技术支持用户在任意时刻的掉线，并且对模型的训练几乎不产生负面影响。
2、在本专利技术的系统模型中包含四种类型的实体：1个可信第三方，1个云服务器，m个边缘服务器，n个用户。其中可信第三方生成公共参数以及初始化全局模型，之后便下线，不再参与训练。云服务器是恶意的或懒惰的，可能会篡改聚合结果来影响模型的训练。边缘服务器也是恶意或懒惰的，可能会为了节省计算资源而采取更加高效但是错误的计算方式。每个用户是诚实且好奇的，它会诚实训练和上传正确的参数，但是会对其它用户数据感兴趣，尝试根据它们上传的参数来推测其隐私数据。
3、本专利技术解决上述技术问题的技术方案包括以下步骤：
4、(1)初始化阶段：可信第三方生成初始化的全局模型以及同态哈希函数的参数，并分发给每个用户；
5、(2)加密阶段：每个用户基于全局模型训练出本地梯度，然后根据隐私保护算法将梯度分割成两个梯度密文，此外通过验证算法生成两个证明，然后以一个密文搭配一个证明的方式将密文和证明封装成两条消息，再分别发送给两个随机选择的边缘服务器；
6、(3)聚合阶段：每个边缘服务器分别对梯度密文以及证明进行聚合，并把密文的聚合结果以及证明的聚合结果上传给云服务器，服务器再分别对两种聚合结果进行聚合，并将最终的梯度的聚合结果以及证明的聚合结果分发给每个用户；
7、(4)验证阶段：每个用户通过同态哈希函数计算梯度聚合结果的证明，并验证该证明与证明的聚合结果是否相等，如果相等，则接受梯度聚合结果并更新全局模型，进行下一轮训练，否则停止训练，重新开始；
8、上述的云边协同环境下可验证的安全聚合联邦学习方案，所述步骤(1)中，初始化阶段主要是初始化参数的生成及分发。其具体过程为：
9、可信第三方ta：
10、1-1)生成联邦学习的初始化全局模型w以及同态哈希函数的参数hhpp，然后将初始化参数{w,hhpp}分发给所有用户。
11、上述的云边协同环境下可验证的安全聚合联邦学习方案，所述步骤(2)中加密阶段的具体过程为：
12、用户u：
13、2-1)接收到可信第三方ta的消息{w,hhpp}；
14、2-2)根据全局模型w以及本地数据集训练出本地梯度gu；
15、2-3)对梯度gu进行分割，分别分割两次，使得
16、2-4)从正态分布n(0,σ2)选取一个与梯度等长的高斯噪声εu，这里我们令σ＝10；
17、2-5)使用高斯噪声εu加密以及计算得到的密文：以及的密文：显然，密文和满足：
18、2-6)使用同态哈希函数的参数hhpp构造同态哈希函数hh()，计算梯度和的哈希值：其中哈希值和满足：
19、2-7)随机选择两个不同的边缘服务器esi和本文档来自技高网...
【技术保护点】
1.云边协同环境下可验证的安全聚合联邦学习方案，其特征在于，包括以下步骤：
2.根据权利要求1所述的云边协同环境下可验证的安全聚合联邦学习方案，其特征在于，所述步骤(1)中初始化阶段主要是可信第三方生成初始化参数，其具体过程为：
3.根据权利要求1所述的云边协同环境下可验证的安全聚合联邦学习方案，其特征在于，所述步骤(2)中加密阶段的具体过程为：
4.根据权利要求1所述的云边协同环境下可验证的安全聚合联邦学习方案，其特征在于，所述步骤(3)中聚合阶段的具体过程为：
5.根据权利要求1所述的云边协同环境下可验证的安全聚合联邦学习方案，其特征在于，所述步骤(4)中验证阶段的具体过程为：
【技术特征摘要】
1.云边协同环境下可验证的安全聚合联邦学习方案，其特征在于，包括以下步骤：
2.根据权利要求1所述的云边协同环境下可验证的安全聚合联邦学习方案，其特征在于，所述步骤(1)中初始化阶段主要是可信第三方生成初始化参数，其具体过程为：
3.根据权利要求1所述的云边协同环境下可验证的安全聚合联邦学习方...
【专利技术属性】
技术研发人员：张世文，任飞翔，张文，李治学，陈双，梁伟，
申请(专利权)人：湖南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。