【技术实现步骤摘要】
本专利技术属于联邦学习和边缘计算，具体的说是涉及一种基于gnn的半联邦学习系统及其运行方法。
技术介绍
1、联邦学习是为了解决数据隐私和数据分散的问题，通过在本地设备上训练模型并在中央服务器上聚合模型参数，实现在分布式环境下共同训练全局模型的机器学习方法。现有的联邦学习系统中，每个用户设备在利用本地的数据进行模型训练后，将训练得到的本地梯度上传至基站，然后将模型参数上传到中央服务器进行聚合，以获得全局模型。传统的联邦学习假设设备之间的数据是分布式的，每个设备都有自己的本地数据集，模型训练在设备上进行。
2、但是，在物联网的边缘场景下的联邦学习中，许多设备并不具备进行本地训练的能力，比如传感器、摄像头等，它们只能收集数据，将数据传送出去但是没有足够的计算能力参与模型训练；而具有计算能力的设备比如智能手环等，存储空间有限并且需要处理别的任务，无法将所有设备资源都用于联邦学习；此外有部分设备如工业控制设备、智能家居控制器等，受限于网络通信模块和环境因素，可能面临网络连接不稳定的问题，无法稳定的进行每一轮的参数更新。因此需要边缘服务器协助这些设备进行联邦学习的模型训练。
3、此外，在考虑到利用边缘服务器协助任务的系统中，并没有考虑到终端设备上传数据的必要性和合理性，同时对上传的数据缺少必要的处理，重复冗余的数据会浪费计算资源，同时导致模型过拟合的问题。
技术实现思路
1、为了解决上述技术问题，本专利技术提供了一种基于gnn的半联邦学习系统及其运行方法，使用gnn（图
2、为了达到上述目的，本专利技术是通过以下技术方案实现的：
3、本专利技术是一种基于gnn的半联邦学习系统，所述半联邦学习系统包括云端服务中心、多个边缘服务器、与各边缘服务器相连接的参与训练的终端设备，
4、每个所述边缘服务器与云端服务中心之间存在双向的连接，所述云端服务中心用于在训练最开始下发训练任务到边缘服务器，然后对边缘服务器上传的全局模型进行聚合优化，然后更新全局模型，并下发至边缘服务器；
5、所述终端设备是异构的，终端设备包括了实行本地训练的终端设备和无法进行本地训练的终端设备，实行本地训练的终端设备具有高性能计算资源、大容量存储资源和高速稳定的网络连接，适合处理复杂计算任务和存储大规模数据，能够满足实时的参数更新需求，可以对所述边缘服务器下发的模型进行训练得到模型参数，并上传模型参数至所述边缘服务器；无法进行本地训练的终端设备会存在计算、存储或通信资源的某一个或某几个受到限制，需要向所述边缘服务器发送采集到的本地数据，与边缘服务器协作完成联邦学习的模型训练；
6、所述边缘服务器和终端设备之间存在双向的链路，所述边缘服务器用于分析需要上传本地数据的终端设备，下发传输决策，确定实行本地训练的终端设备后，接收实行本地训练的终端设备上传的模型参数用于聚合；同时接收无法进行本地训练的终端设备发送的本地数据，进行去重处理后再进行模型训练，将得到的模型参数用于聚合，并聚合后的模型参数上传至所述云端服务中心，其中，边缘服务器包括数据收发模块、数据预处理模块、传输决策模块和模型训练聚合器，其中模型训练聚合器包括模型参数预处理模块、数据相似关系处理模块、模型训练模块、模型聚合模块，数据收发模块用于接收实行本地训练的终端设备上传的本地资源信息、使用本地数据训练后得到的模型参数以及无法进行本地训练的终端设备上传的本地数据；发送云端服务中心下发的训练任务和更新后的模型参数；数据预处理模块用于对接收到的本地数据进行判断，若得到是实行本地训练的终端设备上传的本地资源信息，则上传到传输决策模块，若接收到无法进行本地训练的终端设备发送的本地数据，则上传到数据相似关系处理模块,若接收到实行本地训练的终端设备发送的部分模型参数，则上传到模型参数预处理模块；传输决策模块基于设备的本地资源信息，通过gnn算法对本地资源信息进行离线学习，根据训练结果判断哪些设备没有计算能力和数据存储空间，需要传输本地数据到边缘服务器进行模型训练，在线做出相应的数据传输链路决策；模型训练聚合器用于对接收到的数据进行去重和联邦学习训练，与所述数据收发模块接收的实行本地训练的终端设备上传的模型参数进行聚合优化，将聚合后的模型参数进行加密和压缩处理后，传输到数据收发模块发送至云服务器进行全局聚合更新，所述数据相似关系处理模块用于使用相似度算法匹配出重复上传的本地数据序列并删除，再将处理后的本地数据传输至模型训练模块；模型训练模块用于使用数据相似关系处理模块传输的本地数据进行模型训练，更新模型参数，并将更新后的模型参数和实行本地训练的终端设备上传的模型参数进行聚合；模型参数预处理模块用于对实行本地训练的终端设备发送的模型参数，则进行脱密、解压的预处理后传送到模型聚合模块进行模型参数的更新；模型聚合模块用于将实行本地训练的终端设备上传、经过模型参数预处理模块处理后的模型参数与边缘服务器利用无法进行本地训练的终端设备上传本地数据训练得到的模型参数进行聚合优化，并将聚合后的模型参数进行加密和压缩处理后，传输到数据收发模块发送至云服务器进行全局聚合更新。
7、所述传输决策模块包括特征信息处理组件、gnn决策组件、决策评估组件和评估优化组件；特征信息处理组件用于接收数据预处理模块发送的本地资源信息，并从接收的数据中提取出多个特征向量生产特征矩阵x，将提取的多个特征向量生产特征矩阵x整理成图神经网络的训练样本，发送至样本数据集中，实时更新样本数据集；gnn决策组件基于模仿学习算法对样本数据集中的训练样本进行离线学习，根据训练结果产生传输决策；决策评估组件用于对传输决策的合理性和准确性进行评估，评估合格则在线输出目标接收设备索引和每个终端设备的计算速度，评估不合格则将评估结果发送至评估优化组件，使评估优化组件根据决策评估组件的评估结果对样本数据集中的训练样本进行优化；评估优化组件对样本数据集的训练样本进行优化。决策评估组件的评估过程包括：从样本数据集中随机抽取25%的数据作为测试数据集进行传输测试，若分类准确率达到95%及以上，则判断传输决策为合格；评估优化组件对样本数据集的训练样本进行优化的策略包括：定期去除按照训练样本进入样本数据集的时间索引排序后最远的训练样本以及异常值，交叉验证训练样本，并对原始数据进行扩增，生成更多的样本，以增加数据集的大小和多样性。
8、本专利技术公开了一种基于gnn的半联邦学习系统的运行方法，包括以下步骤：
9、步骤1、边缘服务器广播云端服务中心发布的训练任务，并请求所有参与训练任务的终端设备报告终端设备的本地信息；
10、步骤2、边缘服务器的数据预处理模块对接收到本文档来自技高网...
【技术保护点】
1.一种基于GNN的半联邦学习系统，该学习系统应用于异构边缘计算场景中，其特征在于：所述半联邦学习系统包括云端服务中心、多个边缘服务器、与各边缘服务器相连接的参与训练的终端设备，
2.根据权利要求1所述的一种基于GNN的半联邦学习系统，其特征在于：所述边缘服务器包括数据收发模块、数据预处理模块、传输决策模块和模型训练聚合器，其中模型训练聚合器包括模型参数预处理模块、数据相似关系处理模块、模型训练模块、模型聚合模块，
3.根据权利要求2所述的一种基于GNN的半联邦学习系统，其特征在于：所述传输决策模块包括特征信息处理组件、GNN决策组件、决策评估组件和评估优化组件；
4.根据权利要求3所述的一种基于GNN的半联邦学习系统，其特征在于：所述评估优化组件对样本数据集的训练样本进行优化的策略包括：定期去除按照训练样本进入样本数据集的时间索引排序后最远的训练样本以及异常值，交叉验证训练样本，并对原始数据进行扩增，生成更多的样本，以增加数据集的大小和多样性。
5.根据权利要求2所述的一种基于GNN的半联邦学习系统，其特征在于：
6.
7.根据权利要求6所述的基于GNN的半联邦学习系统的运行方法，其特征在于：所述步骤3基于GNN网络构建传输决策模块，判断需要上传本地数据的终端设备，并下发合适的终端设备的传输决策，具体包括如下步骤：
8.根据权利要求6所述的基于GNN的半联邦学习系统的运行方法，其特征在于：所述步骤4数据相似关系处理模块处理重复上传的本地数据，将重复上传的本地数据删除，具体包括以下步骤：
9.根据权利要求6所述的基于GNN的半联邦学习系统的运行方法，其特征在于：所述步骤5具体为：模型训练模块汇总本地数据后进行模型训练，即利用数据训练联邦学习的目标模型，边缘服务器基于终端设备上传的本地数据集、结合云端服务器广播的联邦学习模型参数进行联邦学习模型训练时，通过以下公式，更新联邦学习模型参数，获得本地联邦学习模型参数：
10.根据权利要求6所述的基于GNN的半联邦学习系统的运行方法，其特征在于：步骤1中边缘服务器广播云端服务中心发布的训练任务是利用数据训练联邦学习的目标模型，即最小化全局损失函数，该目标模型依赖于优化问题：
...【技术特征摘要】
1.一种基于gnn的半联邦学习系统，该学习系统应用于异构边缘计算场景中，其特征在于：所述半联邦学习系统包括云端服务中心、多个边缘服务器、与各边缘服务器相连接的参与训练的终端设备，
2.根据权利要求1所述的一种基于gnn的半联邦学习系统，其特征在于：所述边缘服务器包括数据收发模块、数据预处理模块、传输决策模块和模型训练聚合器，其中模型训练聚合器包括模型参数预处理模块、数据相似关系处理模块、模型训练模块、模型聚合模块，
3.根据权利要求2所述的一种基于gnn的半联邦学习系统，其特征在于：所述传输决策模块包括特征信息处理组件、gnn决策组件、决策评估组件和评估优化组件；
4.根据权利要求3所述的一种基于gnn的半联邦学习系统，其特征在于：所述评估优化组件对样本数据集的训练样本进行优化的策略包括：定期去除按照训练样本进入样本数据集的时间索引排序后最远的训练样本以及异常值，交叉验证训练样本，并对原始数据进行扩增，生成更多的样本，以增加数据集的大小和多样性。
5.根据权利要求2所述的一种基于gnn的半联邦学习系统，其特征在于：
6.利用权利要求1-5任一项基于gnn的...
【专利技术属性】
技术研发人员：郭永安，李嘉靖，王国成，王宇翱，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。