一种基于云边端架构的联邦学习模型聚合系统及方法技术方案

本发明专利技术涉及一种基于云边端架构的联邦学习模型聚合系统及方法，属于模型融合技术领域，系统云平台层

【技术实现步骤摘要】
一种基于云边端架构的联邦学习模型聚合系统及方法


[0001]本专利技术涉及一种基于云边端架构的联邦学习模型聚合系统及方法，属于以边缘计算为基础，多系统存在隐私数据进行模型训练
、
模型融合的
，具体涉及到基于人工智能模型，以模型融合方法
、
云边端架构为基础的联邦学习模型聚合系统及方法
。

技术介绍

[0002]联邦学习技术解决了数据孤岛和隐私泄露的问题，目前已经广泛应用于目标识别
、
情感分析
、
行为感知等人工智能模型训练的多个领域，但随着应用场景越来越复杂出现了参与者性能分布不均衡
、
隐私数据不平均分布等问题，对模型融合算法有效性
、
公平性提出了更高的要求
。
[0003]目前，已有一些云边端架构的分布式的联邦学习模型训练系统及方法，但应用于复杂场景时，有以下不足：第一，适用场景单一化，系统泛化能力不足，当训练数据
、
场景变换时，造成系统不适用的情况；第二，未充分考虑局部模型在训练时的数据分布本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于云边端架构的联邦学习模型聚合系统，其特征在于，包括云平台层
、
网络传输层
、
边缘层；
1)、
所述云平台层包括云服务器
、
云端文件存储系统
、
镜像仓库；所述云服务器由
Kubernetes
‑
Kubeedge
边缘计算云管理平台
、Docker、Sedna
插件
、Go
环境集成；所述云服务器作为任务发起方用于给联邦学习参与方的边缘设备下达模型训练的任务和镜像程序；以及获取边缘设备训练完成并上传的局部模型及参数，对其进行模型聚合，生成全局模型；承载
Kubernetes
‑
Kubeedge
边缘计算云管理平台；所述云端文件存储系统，用于存储云服务器下发到边缘层的模型训练程序
、
边缘层上传到云服务器的局部模型和参数
、
聚合后的全局模型以及测试集数据；所述镜像仓库，用于存储由模型训练程序
、
全局模型生成的镜像；
2)、
所述网络传输层包括边缘层与云平台层之间有线
/
无线的通信链路和
Kubeedge
中的
Router Manager
组件；所述有线
/
无线的通信链路用于实现与支持云平台层与边缘层的之间的信息通路；所述
Router Manager
组件用于实现云端到边缘端之间的信息交互
、
边缘端局部模型与参数的上传和镜像的下载；
3)、
所述边缘层是参与者本地的计算单元和存储单元，包括边缘设备和本地文件存储系统；所述边缘设备用于承载模型训练程序的镜像，结合本地文件存储系统中的训练集数据，进行局部模型训练，并输出模型文件和参数；所述本地文件存储系统，用于存放从云平台层拉取的模型训练程序的镜像文件
、
由隐私数据组成的训练集数据和边缘设备输出的局部模型和参数
。2.
根据权利要求1所述的基于云边端架构的联邦学习模型聚合系统，其特征在于，云服务器的模型聚合方法用以获取边缘层每个参与者的隐私数据量大小以及每个参与者通过自身隐私数据训练得到的局部模型的精准度，并通过模型聚合方法进行计算
。3.
一种基于云边端架构的联邦学习模型聚合系统的工作方法，其特征在于，包括步骤如下：
1)
所述云平台层的工作步骤如以下：
1.1
云服务器中构建
Kubernetes
‑
Kubeedge
边缘计算云管理平台，通过在管理平台中生成
170
位的
Token
密钥和
CA
证书；
1.2
将具有模型聚合方法的
Sedna
插件部署在
Kubernetes
‑
Kubeedge
边缘计算云管理平台中；
1.3
云服务器将人工智能模型训练的代码程序打包成镜像，存放到镜像仓库中，以供边缘层拉取；
1.4
云平台层将数据传递规则
、
模型训练
、
镜像拉取指令和指定的边缘设备制定在
YAML
文件中，并通过
Kubernetes
‑
Kubeedge
边缘计算云管理平台中的
Router Manager
组件下发向边缘层，同时，数据传递规则也在
Router Manager
组件中规定了数据传输的类型
、
地址；
1.5
边缘层中的边缘设备将训练好的局部模型参数
、
损失函数以及训练数据的数据量通过
Router Manager
上传发往云服务器；
1.6
云服务器获取到上传的数据以后，使用云端文件存储系统中的测试集数据，对每个
局部模型进行测试，得到每个局部模型的精准度；
1.7
已部署在
Sedna
插件中的模型聚合方法通过提取每个局部模型的精准度和与之对应的训练集的数据量，在聚合过程中加以修正，生成全局模型，最后将全局模型存放到云端文件存储系统
。4.
根据权利要求3所述的基于云边端架构的联邦学习模型聚合系统的工作方法，其特征在于，
1.7
中模型聚合方法步骤如下：
1.7.1
对每个上传数据的边缘设备进行编号：
D
i
＝
D1,D2…
D
n
，
n
为边缘设备的个数；
1.7....

【专利技术属性】
技术研发人员：陈静，肖恭翼，郭莹，李文，张传福，孙浩，耿玉栋，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：