【技术实现步骤摘要】
本专利技术涉及人工智能领域，尤其涉及一种面向数据驱动认知计算的隐私保护联邦学习方法及系统。
技术介绍
1、随着智能机器的快速普及，以及人工智能(ai)和分布式学习等人类级别信息处理新方法的发展，促进了认知计算的蓬勃发展。认知计算通常被认为是一种建立在人工智能和信号处理基础上的技术，其最终目标是让诸如计算机等的终端机器像人脑一样学习和处理信息。在这种情况下，人工智能的应用就是专门解决问题的最优算法。
2、在智能应用场景(智能医疗、智能制造)中，数据驱动的认知计算仍面临着数据传输成本高、隐私泄露等不可忽视的瓶颈。因此，联邦学习被提出作为认知计算的一种学习范式。在联邦学习的分布式训练架构下，客户端可以利用收集到的数据在本地完成训练任务，然后将训练好的本地模型参数上传到云服务器进行模型聚合。该架构选择在训练后上传模型参数，而不是直接上传原始训练数据，有效降低了数据传输成本，同时保护了客户端的隐私。一般来说，联邦学习假设只有一个模型，同时适用于所有客户端的数据分布，并通过提取所有参与客户端的共同知识来训练一个高质量的全局模型。然而，这一假设现在面临以下挑战:1)数据异质性:不同客户端的数据不符合独立同分布特性；2)客户端异构性:客户端具有不同的计算和存储能力；3)模型异构性:不同的客户需要定制模型来适应他们的应用环境。也就是说，共享模型的表现力不能同时拟合所有客户端的分布，不能适用于某些性能不同的客户端，导致神经网络模型的精度存在性能阈值[5,6]。
3、个性化联邦学习在享受知识共享优势的同时，能兼顾客户端的数据分
4、客户端在经过一定数量的全局迭代后，呈现出与自身数据分布和服务需求高度相关的梯度属性。基于梯度的客户端聚类可以使同一聚类中的客户端参考同一全局模型，执行个性化训练。然而，深度神经网络(dnn)梯度的高维特性对聚类算法的精度和效率提出了更严峻的挑战。由于客户端托管服务的动态性和多样性，初始聚类质心灵敏度也应该降低。此外，应该允许全球培训和个性化培训并行执行，而不是前后独立执行，因为这样可以有效地加速收敛。此外，个性化fl的更新模型也存在客户信息泄露的风险。在攻击者的推理下，从局部模型的梯度中推断出有用信息的可能性很大。
技术实现思路
1、为了解决上述问题，本专利技术的目的在于提供一种面向数据驱动认知计算的隐私保护联邦学习方法及系统，可以有效地考虑数据分布和模型需求的差异。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种面向数据驱动认知计算的隐私保护联邦学习方法，包括以下步骤：
4、基于梯度下降的联邦学习方法对全局模型进行初始化训练；
5、考虑到客户端数据分布和模型需求的相似性，基于改进的低复杂度质心增量bkm算法，降低初始质心灵敏度，并在一定数量的全局训练迭代后根据梯度性能对客户端进行聚类；
6、然后，使用基于软共享的方法对集群中分布相似的客户端进行多任务训练，直到每个客户端获得自定义模型。
7、进一步的，所述基于梯度下降的联邦学习方法对全局模型进行初始化训练，具体如下：
8、对于一个联邦学习任务，定义与该任务相关的总数据集为：
9、
10、其中hd表示客户端d上的数据，d在执行联邦学习本地训练时的损失函数定义为它在样本数据集hd上的预测值与实际值之差，因此联邦学习任务在所有数据集上的损失函数定义为：
11、
12、上式中ω表示当前要训练的模型的权值，|h|表示该任务数据集大小；
13、联邦学习的目的是通过最小化任务的损失函数l(ω)来优化全局模型参数，表示为：
14、ω＝argminl(ω)
15、联邦学习的参数更新方法为随机梯度下降，即每次随机选择数据集中的一条数据进行更新，模型参数的更新表示为：
16、
17、其中η为参数更新时的学习率，n∈n表示训练的迭代次数；
18、当上传的本地模型达到一定数量或者迭代次数后，边缘服务器将对得到的本地模型执行全局模型聚合，具体的权值聚合表示为
19、
20、其中|hd|表示客户端d参与联邦学习任务的数据集大小。
21、进一步的，所述基于梯度下降的联邦学习方法中，利用高斯机制加入噪声扰动局部梯度，具体如下：
22、采用算法摄动的方法将局部差分隐私与联邦学习相结合，在客户端训练的梯度中加入噪声；
23、在原始梯度中加入噪声并将其发送给云服务器，使用高斯机制在扰动参数中加入噪声:
24、
25、其中n(0,σ2q2)为平均值为0，标准差为σ2q2的附加高斯噪声，σ为噪声标度；
26、将ldp引入到局部训练中，客户端会不断迭代更新加入噪声的参数，为了保证(ε,δ)-dp，总隐私成本限制在ε以内，对于客户端d，迭代t的总隐私成本应该小于ε，即是客户端第n次迭代的隐私成本；如果则意味着培训过程需要停止；考虑迭代结果的准确性和总隐私成本，将隐私成本分配到每个迭代过程中。
27、进一步的，所述基于改进的低复杂度质心增量bkm算法，具体如下：
28、设表示客户端d进行n次全局模型训练后的梯度，所以根据为依据对客户端进行分簇；
29、定义1.给定一个簇c，称c是一个球簇，如果c的中心c和半径r满足如下不等式
30、
31、r＝max(||xd-c||)
32、其中，xd被分配到簇c中的客户端，|c|是c中客户端的个数；
33、定义2.给定两个球簇ci和cj，中心分别是ci和cj，如果ci的半径ri满足如下不等式：
34、
35、则cj被称为ci的邻近球簇；
36、每一个球簇的内部进一步被划分为稳定域和活动域,如定义3所述，稳定域中的客户端不需要在下一次迭代中进行调整计算，因此这些客户端在下一次迭代中距离计算的次数为零次
37、定义3.令ci是一个待定球簇，表示ci的所有邻近球簇中心的集合；如果不是空集，并且球簇cj的中心则ci的稳定域被定义为中心为ci，半径为的球形区域。ci的非稳定域被定义为活动域；
38、为了进一步加速计算，将球簇的活动域划分为环，如定义.4；
39、定义4.令c是一个待定的球簇，中心为c，半径是r；令{nhc}表本文档来自技高网...
【技术保护点】
1.一种面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，所述基于梯度下降的联邦学习方法对全局模型进行初始化训练，具体如下：
3.根据权利要求2所述的面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，所述基于梯度下降的联邦学习方法中，利用高斯机制加入噪声扰动局部梯度，具体如下：
4.根据权利要求1所述的面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，所述基于改进的低复杂度质心增量BKM算法，具体如下：
5.根据权利要求1所述的面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，所述多任务训练，具体如下：客户端内训练的深度神经网络含有多个隐藏层，隐藏层被认为起到特征提取的作用，簇内的客户端共享DNN网络底部的隐藏层学习一些共有的低层次抽象特征，共享的隐层的训练称之为全局模型训练的任务taskg；共享隐层之上，每个客户端都单独维护部分层次较高的隐藏层，以捕获个性化的数据特征和业务需求，更高层次隐层的训练称之为个性化模型
6.一种基于权利要求1-5任一所述面向数据驱动认知计算的隐私保护联邦学习方法的系统，其特征在于，包括云中心服务器、边缘服务器和客户端；所述云服务器用来做模型聚合并下发全局模型，客户端通过边缘服务器接收全局模型并进行本地训练；对客户端进行聚类，执行分簇过程后，具有相似的数据特征及需求的客户端形成簇，簇内的客户端执行个性化训练过程，以获得专属的模型。
7.根据权利要求6所述的系统，其特征在于，所述客户端的集合用D表示，令表示被边缘服务器覆盖的客户端d的数据集，令c∈C表示簇的集合，其目的是从客户端的数据集合中学习与任务相关的模型。
...【技术特征摘要】
1.一种面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，所述基于梯度下降的联邦学习方法对全局模型进行初始化训练，具体如下：
3.根据权利要求2所述的面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，所述基于梯度下降的联邦学习方法中，利用高斯机制加入噪声扰动局部梯度，具体如下：
4.根据权利要求1所述的面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，所述基于改进的低复杂度质心增量bkm算法，具体如下：
5.根据权利要求1所述的面向数据驱动认知计算的隐私保护联邦学习方法，其特征在于，所述多任务训练，具体如下：客户端内训练的深度神经网络含有多个隐藏层，隐藏层被认为起到特征提取的作用，簇内的客户端共享dnn网络底部的隐藏层学习一些共有的低层次抽象特征，共享的隐层的训练...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。