【技术实现步骤摘要】
本专利技术涉及一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，属于联邦学习。
技术介绍
1、近年来，随着人工智能技术的快速发展，金融业、制造业、服务业等各领域数据被广泛用于人工智能模型训练。传统的人工智能模型需要将数据集中到服务器端进行学习训练，容易导致用户隐私泄露。为了解决这一问题，google于2016年提出了联邦学习(federated learning, fl)的概念，数据持有者在本地进行模型训练，然后将模型训练参数上传至服务器进行聚合更新，从而避免了隐私数据的泄露。然而，相关研究表明，通过分析用户上传的中间参数仍然有可能还原部分用户原始数据或者判断特定用户的相关属性特征。因此，即使采用联邦学习机制，仍然需要相应的隐私保护技术进一步防止用户隐私的泄露。
2、目前，联邦学习的隐私保护技术主要包括同态加密、多方安全计算以及差分隐私等。与其他技术相比，同态加密能够提供更为可靠的隐私保护服务。目前的联邦学习模型，大多采用第二代同态加密方案，其与第一代方案相比在性能、效率和实用性等方面均有较大提升，并且支持任意布尔电路的计算。然而，第二代同态加密方案虽然引入了模交换技术来控制密文的膨胀，但并不能完全消除噪声积累对模型精度的影响，而且没有利用信号的统计特性来增强信号。
3、此外，联邦学习过程中，用户端与服务器需要频繁的进行参数与梯度交换，通信开销巨大。目前，降低联邦学习通信开销的策略可以分为模型压缩和蒸馏算法两种。模型压缩策略会降低模型的精度，并且不能处理异质数据；蒸馏算法虽然能够在数据异质时保持良好的性能
技术实现思路
1、本专利技术的目的在于克服现有技术中的不足，提供一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，在减小联邦学习中因同态加密造成的噪声积累的同时保留和增强有用信号，并且通过减少梯度上传，减小通信开销。
2、客户端在完成模型训练后，使用diag-fisher剪枝机制通过fisher信息矩阵对梯度进行剪枝。接着，应用自然梯度优化对剪枝后的梯度进行修正并同态加密上传至服务器。服务器接收到加密后的剪枝梯度后，采用基于维纳反卷积的联邦机制对噪声进行滤波，通过估计噪声功率谱密度，设计反卷积来去除加密过程中引入的噪声，增强有用信号。最后，服务器聚合各客户端上传的梯度，形成全局模型并反馈给客户端，完成联邦学习的训练迭代。
3、一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，包括以下步骤：
4、步骤1，客户端从服务器端接收全局模型，并基于本地数据集进行训练，
5、步骤2，客户端基于本地数据集，对接收的全局模型进行本地训练，得到本地模型，
6、步骤3，采用diag-fisher剪枝机制对本地模型的梯度进行剪枝，计算并保留fisher信息矩阵对角元素中信息贡献大的梯度；采用diag-fisher剪枝机制通过fisher信息矩阵计算梯度的重要性，并基于剪枝阈值保留重要梯度以降低通信开销，其过程如下：
7、3.1初始化本地模型对应的对角fisher信息矩阵，其计算表达式为：，
8、3.2对于每个批次数据，前向传播计算损失，
9、其中，为客户端的本地模型梯度，为其数据集的一批数据，
10、3.3对于每个批次数据，根据损失反向传播计算梯度，
11、其中，为客户端的本地模型梯度，为其数据集的一批数据，表示其前向传播计算得到的损失，
12、3.4对于每个批次数据，累加得到本地模型的对角fisher信息矩阵,其中，为其反向传播计算得到的梯度，
13、3.5根据表示当前客户端用于更新模型的批次数据集的大小，归一化对角fisher信息矩阵，其中，表示当前客户端用于更新模型的批次数据集的大小，
14、3.6根据设置好的剪枝率以及计算得到的对角fisher信息矩阵，计算剪枝阈值，
15、其中，为计算完成的对角fisher信息矩阵，为事先设置好的剪枝率，是经过计算得到剪枝阈值，
16、3.7将对角fisher信息矩阵中的fisher信息值与剪枝阈值进行比对，生成掩码
17、，
18、3.8应用掩码对本地模型参数进行剪枝：，其中，是经过计算得到剪枝阈值，为计算得到的掩码，最后应用掩码得到了剪枝后的新的梯度，
19、步骤4，对剪枝后本地模型使用自然梯度优化，其过程如下：
20、4.1对于每个批次数据，前向传播计算损失，
21、4.2对于每个批次数据，根据损失反向传播计算梯度
22、 ，
23、4.3根据对角fisher信息矩阵以及梯度计算得到自然梯度，
24、其中，为客户端经过剪枝的本地模型梯度，是一个小的正值，为平滑项，用于防止分母为零，确保数值稳定性，为计算得到的自然梯度，
25、4.4根据计算得到的自然梯度更新本地模型参数：，
26、其中，是学习率，为采用自然梯度更新之后的本地模型梯度，客户端对剪枝后本地模型使用自然梯度优化，对剪枝后的梯度进行优化修正，确保梯度更新方向符合参数空间的几何结构，从而提升模型的收敛速度和精度，
27、步骤5，客户端将剪枝后的模型参数和经过优化的梯度通过同态加密上传至服务器端，
28、步骤6，使用基于维纳反卷积的联邦机制对加密梯度进行去噪处理，服务器端接收到多个客户端的加密梯度后，使用基于维纳反卷积的联邦机制对加密梯度进行去噪处理，估计噪声功率谱密度，通过设计维纳反卷积消除同态加密过程中引入的噪声，增强有效信号，服务器端对来自多个客户端的去噪梯度进行聚合，得到聚合后的全局模型；服务器端将更新后的全局模型发送至客户端，完成当前训练轮次的迭代；当达到预设的迭代轮次，服务器端最终生成联邦学习训练完成的全局模型，其过程如下：
29、6.1对初始化维纳反卷积需要用到的参数进行傅里叶变换，
30、其中，为服务器端聚合之后得到的同态加密模型梯度，为系统响应，与为其进行傅里叶变换之后得到的参数；
31、6.2根据傅里叶变换后的参数计算信号的功率谱密度：，
32、6.3根据功率谱密度以及其他参数计算初始维纳反卷积，
33、其中，为的共轭复数，是噪声的功率谱密度，
34、6.4根据维纳反卷积对模型参数进行初次滤波，
35、6.5根据上一轮迭代中的功率谱计算得到修正功率谱，
36、，
37、6.6根据修正功率谱和上一轮的滤波结果更新得到功率谱，
38、，
39、6.7根据新的功率谱更新维纳反卷积，
本文档来自技高网...
【技术保护点】
1.一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，其特征在于，步骤3，采用Diag-Fisher剪枝机制对本地模型的梯度进行剪枝，其过程如下：
3.根据权利要求1所述的一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，其特征在于，步骤4，对剪枝后本地模型使用自然梯度优化，其过程如下：
4.根据权利要求1所述的一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，其特征在于，步骤6，使用基于维纳反卷积的联邦机制对加密梯度进行去噪处理，其过程如下：
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如上述权利要求1至4中的任意一项所述的一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法。
6.一种计算机可读存储介质，其上存储有计算机指令，其特征在于：该计算机指令被处理器执行时实现如权利要求1-4中任一项所述的一种基于维纳反卷积与对角费歇尔
...【技术特征摘要】
1.一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，其特征在于，步骤3，采用diag-fisher剪枝机制对本地模型的梯度进行剪枝，其过程如下：
3.根据权利要求1所述的一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法，其特征在于，步骤4，对剪枝后本地模型使用自然梯度优化，其过程如下：
4.根据权利要求1所述的一种基于维纳反卷积与对角费歇尔剪枝的联邦学习方法...
【专利技术属性】
技术研发人员：赵学健，韩忠旭，孙知信，孙哲，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。