【技术实现步骤摘要】
本专利技术属于联邦学习以及差分隐私的交叉领域，尤其涉及基于联邦学习的轻量级用户隐私保护系统及方法。
技术介绍
1、当下，亿万级的边缘设备被连接到互联网，并且产生的海量数据可以被用来训练更强大且精确的模型。为了充分挖掘海量边缘数据的价值，联邦学习被视为一种最具潜力的解决方案，其最大的优势在于可以在保护客户端数据隐私安全的基础上联合多方的数据。但是传统联邦学习框架需要强大的计算能力、通信带宽以及存储空间，这无疑限制了联邦学习在资源受限的边缘设备上的部署。
2、一些工作聚焦于控制联邦学习的聚合频率来提高通信效率，如根据设备的资源状况自适应调整聚合频率，但这些工作不能降低联邦学习庞大的训练开销。
3、尽管联邦学习是一种具有隐私保护特性的分布式机器学习框架，但其安全与隐私泄露的问题依然存在。首先对于本地用户端，联邦学习框架无法区分参与用户中是否存在恶意参与者随着攻击者攻击手段的提高，一些攻击可以根据交互的模型参数推断参与用户的原始数据或获得其他隐含知识，如模型反演攻击可以根据用户上传的模型参数推演其原始数据，用户成员攻击可以推断某个用户是否参与了联邦学习过程，进而探索用户的个人信息。
4、差分隐私与联邦学习相结合，是保护联邦学习中单个参与者隐私的重要方法。该方法对于单个参与者加入和退出，防止单个的恶意参与者的攻击都有保护作用。由于差分隐私在数据中添加了噪声，影响了一部分机器学习模型的准确性，如何在隐私性与准确性之间达到满意的结果。
技术实现思路
1、针对现
2、本专利技术提供如下技术方案：
3、基于联邦学习的轻量级用户隐私保护系统，包括客户端和服务端，客户端作为数据持有方，服务器作为交互节点，数据持有方使用本地数据训练模型，然后将计算出的本地模型参数上传至服务器；
4、在服务器端，这些本地模型参数将按照指定的方式进行聚合生成全局模型，接着将新的全局模型参数分发给各个数据持有方。
5、优选的，在客户端和服务端的联邦学习中，包括以下步骤：
6、步骤一：系统初始化；在系统初始化阶段，服务器首先会随机选取一部分客户端，这些客户端将参与模型训练；接着，服务器会将初始模型发送给这些客户端，以便它们能够在本地训练模型；同时，客户端也要准备本地数据并对数据进行预处理；
7、步骤二：本地训练。在本地训练阶段，客户端收到初始模型后，会使用自身的本地数据进行训练，训练完成后会将本地模型发送给服务器；
8、步骤三：服务器聚合；在服务器聚合阶段，服务器会将所有客户端的模型更新参数按照特定的算法进行加权平均，得到一个全局模型参数；接着服务器将新的全局模型发送给客户端，作为下一轮训练的初始模型；这个过程会不断重复，在不同的客户端上进行训练、聚合和模型更新操作，直到模型达到最优或收敛为止。
9、优选的，该保护系统采用的保护方法包括以下步骤：s1、参数初始化，服务器端对需要训练的模型参数进行初始化；
10、s2、将参数传递给客户端更新；
11、s3、客户端训练本地数据集，将训练所得参数进行本地化差分隐私后，传递各客户端70％的模型参数到服务器端聚合；
12、s4、服务端共享模型参数并继续训练至收敛。
13、优选的，服务端的训练过程步骤如下：stepl:对全局模型参数进行随机初始化；
14、step2:服务器端随机选择参与本次训练的客户端，并向被选中的客户端发送全局模型θt-1及本轮的高斯声参数σt-1；
15、step3:被选中的客户端使用全局模型进行多轮本地训练，训练完成后上传模型参数；
16、step4:服务器接收客户端上传的模型参数；
17、聚合本地模型并以设定好的学习率更新全局模型step5；
18、step6:计算本轮的隐私开销εt，并判断εt是否超过设定好的隐私预算，如果超过则结束训练；
19、step7:使用全局模型在测试集上进行测试，得到训练损失及模型准确度，接下来根据评分函数的打分，根据式生成新的高斯噪声参数σt；
20、step8：重复step2至step7，如果隐私预算未耗尽，通信将在达到最大通信轮数tm时结束。
21、优选的，客户端的训练过程主要可以被划分为以下几个步骤：第一步，确定本地更新的迭代次数k；
22、第二步，加载数据集，并从服务器中下载全局模型θt-1及高斯噪声参数σt-1；
23、第三步，在本地数据集di中以等概率采样大小为r的子集rk，然后将rk输入网络中进型模型训练；
24、第四步，对产生的梯度进行裁剪，将梯度大小限制在c以内；
25、第五步，将裁剪后的梯度相加求平均后添加高斯噪声；
26、第六步，以学习率a更新本地模型；
27、第七步，重复第三步至第六步，直到本地训练次数达到给定值；
28、第八步，将本地模型参数上传至服务器。
29、优选的，联邦学习中噪声的自适应添加，需要根据训练过程中的具体指标的变化来决定是否调整噪声规模，这些指标包括训练损失，模型准确率和梯度变化。通过设置一个评分函数，综合梯度大小，训练损失，模型准确度及时间(通信轮数)，当分数超过50分时，将高斯噪声参数σ的大小降低为pσ，p(0<p<1)为常数这样子就使得噪声会在梯度越来越小且模型准确率难以上升的时候进行降噪处理，而且分数的存在使得系统必须具备一定条件才能使高斯噪声参数σ下降，这样子就可以使降噪的操作延后，以便在噪声对模型影响不大的前期来节省隐私预算。综合梯度计算方法为，定义|gt|为第t轮通信中更新全局模型的梯度二范式，|gmax|为历史梯度二范式中最大值，梯度评分满足：sg＝min(max(2(1-2|gt|/|gmax|),0),1)·100％；定义1减去|gt|与|gmax|的比值作为梯度部分评分方式，以使当前梯度更小时评分更高，增加降噪的可能性，并限制分数的大小不超过100％；训练损失计算方法为,定义lt为第t轮通信后依靠测试集测出的训练损失，lt-1为第t-1轮通信后的训练损失，则训练损失评分sl满足：如果第t轮的训练损失大于第t-1轮的训练损失，就得到训练损失部分的评；时间计算方法如下：定义tm为最大全局通信轮数，时间部分的评分s满足：st＝min(2t/tm，1)·100％；评分函数score＝35·sg+20·sl+20·st；通过上述评分函数，得出高斯噪声参数σ的变化细节：上式中p为降噪系数。
30、另外，服务器端的训练流程为：首先对全局模型进行一个初始化，然后在任意一轮t∈tm中，中央服务器发送训练任务，寻求参与客户端，参与本次通信的客户端响应之后，服务器向本轮参与的客户端集合s中所有的客户端发送全局模型θt-1以及本轮训练的高斯本文档来自技高网...
【技术保护点】
1.基于联邦学习的轻量级用户隐私保护系统，其特征在于，包括客户端和服务端，客户端作为数据持有方，服务器作为交互节点，数据持有方使用本地数据训练模型，然后将计算出的本地模型参数上传至服务器；
2.根据权利要求1所述基于联邦学习的轻量级用户隐私保护系统，其特征在于，在客户端和服务端的联邦学习中，包括以下步骤：步骤一：系统初始化；在系统初始化阶段，服务器首先会随机选取一部分客户端，这些客户端将参与模型训练；接着，服务器会将初始模型发送给这些客户端，以便它们能够在本地训练模型；同时，客户端也要准备本地数据并对数据进行预处理；
3.根据权利要求1所述基于联邦学习的轻量级用户隐私保护系统，其特征在于，该保护系统采用的保护方法包括以下步骤：S1、参数初始化，服务器端对需要训练的模型参数进行初始化；
4.根据权利要求3所述基于联邦学习的轻量级用户隐私保护系统，其特征在于，服务端的训练过程步骤如下：Stepl:对全局模型参数进行随机初始化；
5.根据权利要求3所述基于联邦学习的轻量级用户隐私保护系统，其特征在于，客户端的训练过程主要可以被划分为以下几
...【技术特征摘要】
1.基于联邦学习的轻量级用户隐私保护系统，其特征在于，包括客户端和服务端，客户端作为数据持有方，服务器作为交互节点，数据持有方使用本地数据训练模型，然后将计算出的本地模型参数上传至服务器；
2.根据权利要求1所述基于联邦学习的轻量级用户隐私保护系统，其特征在于，在客户端和服务端的联邦学习中，包括以下步骤：步骤一：系统初始化；在系统初始化阶段，服务器首先会随机选取一部分客户端，这些客户端将参与模型训练；接着，服务器会将初始模型发送给这些客户端，以便它们能够在本地训练模型；同时，客户端也要准备本地数据并对...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。