基于边缘设备的隐私数据处理系统、方法、设备及介质技术方案

本发明专利技术公开了一种基于边缘设备的隐私数据处理系统、方法、设备及介质，包括：云层协调模块中的云服务器将初始化模型下发至与边缘设备连接的所有终端设备；本地层执行模块采用本地数据对初始化模型进行本地训练，得到本地模型；针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有本地模型进行边缘局部聚合；采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集；边缘层聚合模块根据边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于目标联邦学习模型进行隐私数据处理，采用本发明专利技术提高了隐私数据处理的安全性和效率。效率。效率。

【技术实现步骤摘要】
基于边缘设备的隐私数据处理系统、方法、设备及介质


[0001]本专利技术涉及隐私数据处理领域，尤其涉及一种基于边缘设备的隐私数据处理系统、方法、设备及介质。

技术介绍

[0002]随着人工智能技术的快速发展，当前世界正处在一个以数据、算力、算法为中心的信息计算世界，计算任务无处不在，计算资源已经从云卸载至边缘。支持边缘的物联网设备通常包括广泛的设备类型，例如传感器，智能手机，安全摄像头等，同时它们也配备了能力越来越强的智能芯片。在5G浪潮及6G的推动下，这些边缘设备的大规模部署可被用于不同人群的感知任务，例如车载互联网、智慧交通、智慧城市等。因此，如何高效且安全地利用这些边缘设备每时每刻产生的庞大数据作为边缘智能的数据底座是非常有意义的。传统以云为数据中心的集中式机器学习，需将已完成标注的训练数据发送至中心服务器进行处理与计算。但是，这种集中式方法受网络带宽和端云距离的影响，无法适应例如自动驾驶、实时在线视频播放等新型实时应用程序。而随着通信技术的革命性创新，边缘计算已然成为了云计算的替代和辅助方案，其利用终端设备和边缘服务器的计算和存储能力来拉近模型与数据源的距离。尽管靠近终端的边缘服务器可以快速高效的采集数据并满足实时处理的要求，但是边缘服务器的计算卸载和数据处理仍然涉及潜在敏感个人数据的传输，这会阻止对隐私敏感的用户参与模型训练，甚至违反日益严格的隐私法。
[0003]当前，虽然各种隐私保护方法被证明是有效的，例如差分隐私（DP），同态加密（HE）、混淆电路（GC）、密钥分享（SS）等。但是，一些企业和用户仍然不愿意公开他们的私人数据，因为他们依旧担心数据可能会被外部服务器恶意检查和利用。为此，为了保证训练数据保留在个人设备上并促进分布式边缘设备之间进行复杂模型的协作机器学习训练，谷歌于2016年提出了一种称为联邦学习（Federated Learning, FL）的分散式机器学习方法。这就意味着FL可以成为边缘网络上ML模型训练的使能技术。联邦学习作为支持边缘智能的核心技术，它的宗旨是“数据可用不可见、数据可算不可识、用途可辨可度量、流程可控可追溯、技术可视可解释”。然而，在万物互联时代下的边缘网络存在数以万计个异构分布式边缘设备，因此，隐私数据的安全性和数据处理效率仍然是一个巨大挑战，如何实现对海量的隐私数据进行数据处理，是一个亟待解决的难题。

技术实现思路

[0004]本专利技术实施例提供一种基于边缘设备的隐私数据处理系统、方法、计算机设备和存储介质，以提高隐私数据处理的效率和安全性。
[0005]为了解决上述技术问题，本申请实施例提供一种基于边缘设备的隐私数据处理系统，包括：云层协调模块、边缘层聚合模块、本地层执行模块，代价层计算模块，中心层选择模块，知识层感知模块；其中，所述云层协调模块用于联邦任务发布及边缘链路通信协调；
所述边缘层聚合模块用于本地模型局部聚合及局部模型全局循环聚合；所述本地层执行模块利用本地数据对全局模型发起同步训练，得到本地模型；所述边缘层聚合模块用于对各个本地模型进行边缘局部聚合，得到边缘聚合中心；所述代价层计算模块用于对全域终端设备总体能耗和时延的计算，确定边缘聚合中心数量；所述中心层选择模块用于选择边缘聚合中心子集；所述知识层感知模块用于为所述中心层选择模块提供边缘聚合中心选择的动态感知决策。
[0006]为了解决上述技术问题，本申请实施例提供一种基于边缘设备的隐私数据处理方法，应用于上述基于边缘设备的隐私数据处理系统，包括：将初始化模型下发至与边缘设备连接的所有终端设备，其中，每个边缘设备连接至少一个终端设备，初始化模型的下发由云层协调模块中的云服务器执行；在每个终端设备接收到初始化模型后，本地层执行模块采用本地数据对初始化模型进行本地训练，得到本地模型，并将本地模型发送给终端设备连接的边缘设备；针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有所述本地模型进行边缘局部聚合，其中，每组边缘设备包括至少一个边缘设备；在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集；边缘层聚合模块根据所述边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于所述目标联邦学习模型进行隐私数据处理。
[0007]可选地，所述云层协调模块中的云服务器将初始化模型下发至与边缘设备连接的所有终端设备包括：云服务器根据全域边缘设备的先验知识对所有边缘设备进行分组，得到若干边缘分组；云服务器从每个边缘分组中随机选择一个边缘设备作为初始化模型的接收者；针对每个所述边缘分组，采用Gossip协议在组内对所述初始化模型进行传播，直到分组中的每个边缘设备都接收到初始化模型；每个边缘设备将所述将初始化模型其下发至与所述边缘设备连接的所有终端设备。
[0008]可选地，当接收到初始化模型后，每一个终端设备通过在其本地数据集上的最小化经验损失上的最小化经验损失进行本地训练。
[0009]可选地，所述对组内所有所述本地模型进行边缘局部聚合包括：每一个边缘服务器的局部损失函数计算如下：边缘局部聚合参数更新
如下：。
[0010]可选地，所述在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量包括：采用如下公式计算第i个终端设备在端到云架构中的整体时间代价，作为第一时间代价：；其中，为第i个终端设备的第一时间代价，为第i个终端设备的本地训练时间，为第i个终端设备到云服务器的传输时间，为第i个终端设备与云服务器通信的传输速率；采用如下公式计算第i个终端设备在端到云架构中的整体能耗代价，作为第一能耗代价：；其中，为第i个终端设备的第一能耗代价，为第i个终端设备的本地训练能耗，为第i个终端设备到云传输能耗；计算每一个终端设备的总代价，作为第一总代价，其中，；采用如下公式计算第i个终端设备在端到边缘架构中的整体时间代价，作为第二时间代价：；其中，为第i个终端设备的第二时间代价，为第i个终端设备的本地训练时间，为第i个终端设备与边缘设备通信的传输速率；采用如下公式计算第i个终端设备在端到边缘架构中的整体能耗代价，作为第二能耗代价：；其中，为第i个终端设备的第二能耗代价，为第i个终端设备的本地训练能耗，为第i个终端设备到边缘设备的传输能耗；计算每一个终端设备到边缘设备的总代价，作为第二总代价，其中，；基于所述第一总代价和所述第二总代价，采用如下公式确定边缘聚合中心的数量：；其中，为边缘聚合中心的数量。
[0011]可选地，所述采用知识层感知模块和中心层选择模块确定边缘聚合中心子集包
括：获取每个所述边缘设备的历史准确率和数据分布差异性；基于每个所述边缘设备的历史准确率和数据分布差异性，评估每个所述边缘设备的可靠性；针对每个所述边缘设备的可靠性，计算所有边缘设备构成的边缘系统的最大安全性，并基于所述最大安全性，采用强化学习的方式选择边缘聚合中心子集。
[0012]可选地，所述基于所述最大安全性，采用强化学习的方式选择边缘聚合中心子集包括：为每个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘设备的隐私数据处理系统，其特征在于，所述系统包括：云层协调模块、边缘层聚合模块、本地层执行模块，代价层计算模块，中心层选择模块，知识层感知模块；其中，所述云层协调模块用于联邦任务发布及边缘链路通信协调；所述边缘层聚合模块用于本地模型局部聚合及局部模型全局循环聚合；所述本地层执行模块利用本地数据对全局模型发起同步训练，得到本地模型；所述边缘层聚合模块用于对各个本地模型进行边缘局部聚合，得到边缘聚合中心；所述代价层计算模块用于对全域终端设备总体能耗和时延的计算，确定边缘聚合中心数量；所述中心层选择模块用于选择边缘聚合中心子集；所述知识层感知模块用于为所述中心层选择模块提供边缘聚合中心选择的动态感知决策。2.一种基于边缘设备的隐私数据处理方法，其特征在于，应用于权利要求1所述的基于边缘设备的隐私数据处理系统，包括：将初始化模型下发至与边缘设备连接的所有终端设备，其中，每个边缘设备连接至少一个终端设备，初始化模型的下发由云层协调模块中的云服务器执行；在每个终端设备接收到初始化模型后，本地层执行模块采用本地数据对初始化模型进行本地训练，得到本地模型，并将本地模型发送给终端设备连接的边缘设备；针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有所述本地模型进行边缘局部聚合，其中，每组边缘设备包括至少一个边缘设备；在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集；边缘层聚合模块根据所述边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于所述目标联邦学习模型进行隐私数据处理。3.如权利要求2所述的基于边缘设备的隐私数据处理方法，其特征在于，所述将初始化模型下发至与边缘设备连接的所有终端设备包括：云服务器根据全域边缘设备的先验知识对所有边缘设备进行分组，得到若干边缘分组；云服务器从每个边缘分组中随机选择一个边缘设备作为初始化模型的接收者；针对每个所述边缘分组，采用Gossip协议在组内对所述初始化模型进行传播，直到分组中的每个边缘设备都接收到初始化模型；每个边缘设备将所述将初始化模型下发至与所述边缘设备连接的所有终端设备。4.如权利要求2所述的基于边缘设备的隐私数据处理方法，其特征在于，当接收到初始化模型后，每一个终端设备通过在其本地数据集上的最小化经验损失进行本地训练；其中，为第i个单个输入样本，为对应的样本标签，表示第i个终端设备的训练样本总数，为数据集上
的第j个样本的损失函数，第i个终端设备本地模型参数的更新，其中，k为更新步骤的索引，为本地训练需要的次数，为梯度下降过程中的步长。5.如权利要求2所述的基于边缘设备的隐私数据处理方法，其特征在于，所述对组内所有所述本地模型进行边缘局部聚合包括：每一个边缘服务器的局部损失函数计算如下：；边缘局部聚合参数更新如下：；其中，为第l个边缘服务器的局部损失函数，C
l
为第l个边缘服务器下设备的集合，|D
l
|为第l个边缘服务器下所属终端智能设备数据集的大小，k
e
为局部聚合索引。6.如权利要求2所述的基于边缘设备的隐私数据处理方法，其特征在于，所述在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量包括：采用如下公式计算第i个终端设备在端到云架构中的整体时间代价，作为第一时间代价：；其中，为第i个终端设备的第一时间代价，为...

【专利技术属性】
技术研发人员：陈晓红，许冠英，徐雪松，胡东滨，马涛，梁伟，曹文治，
申请(专利权)人：湖南红普创新科技发展有限公司，
类型：发明
国别省市：