针对边云协同的联邦学习系统及方法技术方案

本发明专利技术的实施例提供针对边云协同的联邦学习系统和方法，包括边缘设备和云端服务器。每个边缘设备基于本地数据对全局模型进行训练，对训练后得到的模型参数进行加密并上传至云端服务器；云端服务器对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；边缘设备采用来自云端服务器的模型参数更新其本地的全局模型以进行预测。该系统使得模型的鲁棒性、精确性和训练速度大幅提升。

【技术实现步骤摘要】
针对边云协同的联邦学习系统及方法
本专利技术涉及机器学习和数据处理技术，尤其涉及边缘设备与云端协同处理数据的方法和系统。
技术介绍
在当前的移动时代，很多数据都是从诸如移动装置、可穿戴设备之类的边缘设备生成然后上传到云端服务器以供进一步分析和处理。云端服务器使用了从边缘设备中上传来的数据进行模型的训练，然后将经过多次训练的模型传输到每个边缘设备，从而使得边缘设备具有了推理能力。然而，边缘设备将原始数据传输到云端，造成用户的隐私信息暴露于公共网络，任何形式的网络攻击都可能使得数据安全受到威胁，会给用户带来极为严重的隐私泄露问题。除了数据的安全问题以外，将原始数据上传到云端所需要的传输带宽及时间成本也比较高。
技术实现思路
专利技术人研究发现如果不上传原始数据，而由边缘设备使用本地数据独立训练模型，虽然能够避免用户隐私泄露，但模型的精度会大大降低。这是因为每个边缘端设备的数据通常是有类似的特征的而仅是用户不相同，如果只是使用每个边缘端的数据来训练模型，那么很容易会发生过拟合的现象。而如果将多个边缘设备上的数据聚合起来，共同训练得到一个模型，则不仅不会发生过拟合现象，而且该模型的鲁棒性和精度将大大提升。因此，在本专利技术的目的在于提供一种边缘设备与云端服务器协同训练模型的系统和方法，能在保证训练模型的高精度的同时，避免用户隐私泄露，并减少数据传输的成本。上述目的是通过以下技术方案实现的：根据本专利技术实施例的第一方面，提供一种针对边云协同的联邦学习系统，其包括边缘设备和云端服务器。其中云端服务器被配置为：向参与协同的各个边缘设备下发初始的全局模型和密钥，以及对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备。其中边缘设备被配置为基于本地数据对全局模型进行训练；根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；以及采用来自云端服务器的模型参数更新其本地的全局模型。在一些实施例中，云端服务器对从各个边缘设备接收的模型参数进行聚合可以包括对从各个边缘设备接收的模型参数求平均值，以得到聚合后的模型参数。在一些实施例中，边缘设备还可以被配置为将参与对全局模型进行训练的数据数目与训练后得到的模型参数一起上传至云端服务器。在一些实施例中，云端服务器对从各个边缘设备接收的模型参数进行聚合可以包括将从各个边缘设备接收的数据数目作为其相应模型参数的权重，对从各个边缘设备接收的模型参数求加权平均值，以得到聚合后的模型参数。在一些实施例中，可以采用同态加密算法对边缘设备与云端服务器之间传输的模型参数进行加密。在一些实施例中，所述全局模型可以为极限学习机模型，其包括一个输入层、一个隐藏层和一个输出层。所述云端服务器向参与协同的各个边缘设备下发初始的全局模型可以包括指定用于该全局模型的输入权重、输入偏置和隐藏层节点数，以及其中所述边缘设备训练后得到的模型参数为该全局模型的输出权重。根据本专利技术实施例的第二方面，提供了一种针对边云协同的联邦学习方法，该方法包括：由云端服务器向参与协同的各边缘设备下发初始的全局模型和密钥；由每个边缘设备基于本地数据对全局模型进行训练；由每个边缘设备根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；由云端服务器对从各个边缘设备收到的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；由每个边缘设备采用来自云端服务器的模型参数更新其本地的全局模型。在一些实施例中，可以采用同态加密算法对边缘设备与云端服务器之间传输的模型参数进行加密。根据本专利技术实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被执行时实现如上述实施例第二方面所述的方法。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了示出了根据本专利技术一个实施例的针对边云协同的联邦学习系统的工作原理示意图。图2示出了根据本专利技术一个实施例的针对边云协同的联邦学习系统的功能模块示意图。图3示出了根据本专利技术一个实施例的全局模型的结构示意图。图4示出了根据本专利技术一个实施例的针对边云协同的联邦学习系统的操作流程示意图。图5示出了根据本专利技术一个实施例的针对边云协同的联邦学习方法流程示意图。具体实施方式为了使本专利技术的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本专利技术进一步详细说明。应当理解，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动下获得的所有其他实施例，都属于本专利技术保护的范围。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本专利技术的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。图1示出了根据本专利技术一个实施例的针对边云协同的联邦学习系统(下面也可简称为边云协同系统)的工作原理示意图。在云端服务器上对全局模型进行初始化并分发到每一个边缘设备上；在每个边缘设备上，使用本地数据对该模型进行训练，然后将训练好的模型参数传输到云端服务器；云端服务器对来自各个边缘设备上的模型参数进行聚合，将经聚合后得到的新的全局模型参数返回到每个边缘设备以供其进行预测或推理。图2示出了根据本专利技术一个实施例的针对边云协同的联邦学习系统的功能模块示意图。该系统包含两部分，分别部署在边缘设备和云端。其中在边缘设备上包括数据采集、模型训练、数据加密、参数传输、模型预测五个模块。其中数据采集模块负责获取供模型训练用的数据；模型训练模块基于这些数据来训练模型，并将训练得到的模型参数提供至数据加密模块中进行加密，以此来保护传输数据的安全；接着这些经加密的模型参数通过参数传输模块上传至云端服务器。边缘设备还可通过参数传输模块接收本文档来自技高网...

【技术保护点】
1.一种针对边云协同的联邦学习系统，包括边缘设备和云端服务器；/n所述云端服务器被配置为：向参与协同的各个边缘设备下发初始的全局模型和密钥，以及对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；/n所述边缘设备被配置为：基于本地数据对全局模型进行训练；根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；以及采用来自云端服务器的模型参数更新其本地的全局模型。/n

【技术特征摘要】
1.一种针对边云协同的联邦学习系统，包括边缘设备和云端服务器；
所述云端服务器被配置为：向参与协同的各个边缘设备下发初始的全局模型和密钥，以及对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；
所述边缘设备被配置为：基于本地数据对全局模型进行训练；根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；以及采用来自云端服务器的模型参数更新其本地的全局模型。


2.根据权利要求1所述的系统，其中所述云端服务器对从各个边缘设备接收的模型参数进行聚合包括对从各个边缘设备接收的模型参数求平均值，以得到聚合后的模型参数。


3.根据权利要求1所述的系统，其中所述边缘设备还被配置为将参与对全局模型进行训练的数据数目与训练后得到的模型参数一起上传至云端服务器。


4.根据权利要求1所述的系统，其中所述云端服务器对从各个边缘设备接收的模型参数进行聚合包括将从各个边缘设备接收的数据数目作为其相应模型参数的权重，对从各个边缘设备接收的模型参数求加权平均值，以得到聚合后的模型参数。


5.根据权利要求1-5中任一项所述的系统，其中采用同态加密算法对边缘设备与云端服务器之间传输的模型参数进行...

【专利技术属性】
技术研发人员：陈益强，孙伟豪，杨晓东，于汉超，王永斌，张忠平，肖益珊，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11