【技术实现步骤摘要】
本专利技术涉及神经网络架构的，具体为一种基于联邦学习框架的隐私保护神经网络架构优化方法。
技术介绍
1、随着信息时代的不断发展，隐私保护在数据驱动的应用汇总变得愈发重要。在现代社会中，个人和组织产生了大量的敏感数据，这些数据在进行各种分析和优化任务时具有巨大的潜在价值。然而，随之而来的是如何在充分利用这些数据的同时保护用户隐私的问题，
2、传统的数据集中式学习方法存在着隐私泄露和数据滥用的风险，由于这些方法要求将数据集集中在一个中心服务器上进行分析和学习，从而可能导致个人隐私信息的暴露。
3、为了应对这一挑战，近年来兴起了一种基于联邦学习的隐私保护方法，旨在在分散的数据源上进行模型训练，然后仅共享模型参数的方式，实现了对个人数据的隐私保护。然而，虽然联邦学习在一定程度上解决了隐私问题，但恶意攻击者仍然可以从上传的模型参数中推理出原始数据的部分敏感信息，这使得传统的联邦学习框架在实际应用中仍旧存在着安全隐患。在传统的神经网络架构优化方法中，原始数据大多一种集中式的存储方法，这意味着不同客户端的隐私数据需要统一上传到公开的服务器中。然而，在现实优化任务中，原始数据大多存在着敏感信息，这种集中式的方法违反了隐私保护的需求。
4、为了进一步加强隐私保护，研究人员开始探索一种新的神经架构优化方法，即基于联邦学习的隐私保护神经架构优化方法。这种方法的核心思想是在联邦学习的框架下，不仅在模型上进行神经架构搜索，每个设备只共享经过加密处理的架构相关信息，而不是直接共享架构本身。这样一来，即使恶意攻击者获取了部
5、尽管这种基于联邦学习的隐私保护神经架构优化方法在提升数据隐私方面取得了显著进展，但仍然需要解决许多问题：
6、如：如何平衡隐私保护与优化性能之间的权衡，确保在提高隐私保护水平的同时，不影响神经架构的搜索效率和优化结果。
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的在于提供一种基于联邦学习框架的隐私保护神经网络架构优化方法，其具有的优点：在保护每个客户端隐私信息的前提下，实现多个客户端之间的信息共享与协同，从而提升神经架构搜索的安全性与效率。
2、本专利技术的上述目的是通过以下技术方案得以实现的：
3、一种基于联邦学习框架的隐私保护神经网络架构优化方法，该方法包括如下步骤：
4、(1)构建联邦学习框架，设定参与优化的客户端设备，以及用于与客户端进行信息交互和共享的云端服务器；
5、(2)初始化每个客户端节点上的一组候选神经网络架构，并利用本地数据充分训练每个候选架构得到其分类准确率；
6、利用已知数据训练并初始化每个客户端上的集成神经网络预测器作为本地代理模型；
7、(3)执行联邦框架下的迭代优化过程；
8、在每一轮迭代优化流程中，从所有客户端中以比例λ随机选出k个客户端节点，组成参与第t轮优化的客户端集合st；
9、(4)进行全局代理模式更新，并下发至所有参与本轮优化的客户端；
10、(5)针对客户端集合st中的每个客户端节点，实施本地的基于贝叶斯优化的神经网络架构搜索；
11、基于搜索结果更新本地网络架构数据集以及更新本地代理模型；
12、(6)判断神经网络优化过程是否满足终止条件：
13、若满足，则统计所有客户端的候选网络模型，并输出最终优化结果；
14、若不满足，则转至步骤(3)。
15、本专利技术在一较佳示例中可以进一步配置为：步骤(1)中，联邦学习框架的构建方式为：
16、设定参与优化的客户端设备共计n个：
17、假定每个客户端是独立的具有数据存储以及计算能力的实体设施或设备；
18、每个客户端看作一个参与优化的节点，且将第i个节点上存储的隐私数据集记为di；
19、假设每个节点上存储的本地隐私数据不能与其他客户端或服务器共享。
20、本专利技术在一较佳示例中可以进一步配置为：
21、(2-1)步骤(2)中每个客户端节点的候选网络架集合的初始方案：
22、对神经网络架构的编码方案以及搜索空间进行定义；
23、在搜索空间中，定义每个神经网络架构由3个顺序相接的模块组合而成，其中每个模块中又包含3个顺序详解的单元；
24、定义二值向量的编码方案，用于表示每个候选网络架构的具体实现方案以及每个单元使用的操作算子；
25、(2-2)步骤(2)中每个客户端节点上候选网络架构的分类准确率计算方法为：
26、针对每个二值向量编码的神经网络模型，将二值编码方案转化为真实网络架构，为该架构随机化初始一组权重参数；
27、把该节点上存储的全部本地数据按照9：1的比例划分为训练集和验证集。
28、本专利技术在一较佳示例中可以进一步配置为：步骤(2)中，每个客户端上的集成神经网络预测期的构建以及初始化方式为：
29、(2-3)在每个客户端上构建并初始化3个全连接神经网络，作为集成的代理模型，用于预测候选网络架构的分类准确率；
30、其中每个全连接网络的初始参数均为随机生成，并且各不相同；
31、(2-4)将步骤(2-2)中创建的二值编码神经网络模型以及其对应的测试准确率作为有标签的训练数据，分别用梯度下降法对步骤(2-3)中集成代理模型的每个子模型进行训练，直至其收敛；
32、训练后的3个全连接神经网络共同作为集成代理模型，构成该节点的神经网络性能预测器。
33、本专利技术在一较佳示例中可以进一步配置为：步骤(3)中，考虑到通讯效率以及计算开销等影响因素，在每一轮优化过程中只选取部分客户端节点参与训练，其余客户端节点在本轮优化中不与服务器进行信息的交互。
34、本专利技术在一较佳示例中可以进一步配置为：步骤(4)中，被选中参与本轮更新的客户端节点首先将当前的本地集成代理模型参数上传至服务器；
35、服务器接收到各节点的模型权重之后，在本地基于fedavg算法进行计算，得到参与本轮训练的全部节点的代理模型权重均值；
36、该组均值参数同时用于更新服务器的全局代理模型，并且下发至所有本轮参与训练的节点。
37、本专利技术在一较佳示例中可以进一步配置为：
38、以本地存储的搜索过的神经网络架构集合作为父代个体，用基于变异的进化算子生成新的神经网络架构作为候选解；
39、用步骤(4)中得到的更新后的全局代理模型参数更新本地代理模型；
40、使用更新后的本地代理模型作为神经预测器，对每一个新生成的候选神经网络架构进行准确率的预测；
41、根据预测结果计算每个候选架构的获取函数的目标值，通过排序的方式找出所有候选解中获取函数适应值最高的前k个个体，对其进行基于梯度的训练并计本文档来自技高网...
【技术保护点】
1.一种基于联邦学习框架的隐私保护神经网络架构优化方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的一种基于联邦学习框架的隐私保护神经网络架构优化方法，其特征在于，步骤(1)中，联邦学习框架的构建方式为：
3.根据权利要求1所述的一种基于联邦学习框架的隐私保护神经网络架构优化方法，其特征在于，
4.根据权利要求3所述的一种基于联邦学习框架的隐私保护神经网络架构优化方法，其特征在于，
5.根据权利要求1所述的一种基于联邦学习框架的隐私保护神经网络架构优化方法，其特征在于，步骤(3)中，考虑到通讯效率以及计算开销等影响因素，在每一轮优化过程中只选取部分客户端节点参与训练，其余客户端节点在本轮优化中不与服务器进行信息的交互。
6.根据权利要求1所述的一种基于联邦学习框架的隐私保护神经网络架构优化方法，其特征在于，步骤(4)中，被选中参与本轮更新的客户端节点首先将当前的本地集成代理模型参数上传至服务器；
7.根据权利要求1所述的一种基于联邦学习框架的隐私保护神经网络架构优化方法，其特征在于，
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。