一种分组解决数据异构联邦学习方法技术

本发明专利技术公开了一种分组解决数据异构联邦学习方法，属于人工智能机器学习领域，该方法首先数据预处理阶段，对数据进行特征提取，并聚类分组

【技术实现步骤摘要】
一种分组解决数据异构联邦学习方法


[0001]本专利技术属于人工智能机器学习领域，涉及一种分组解决数据异构联邦学习方法
。

技术介绍

[0002]随着高新科技
、
人工智能
(Artificial Intelligence
，
AI)
和云计算的快速发展，联邦学习
(Federated Learning
，
FL)
从
2016
年谷歌团队提出以后，已经在近几年快速的发展，并广泛运用于物联网
(Internet of Things
，
IoT)
领域，医院
、
银行等行业数据分析
。
与传统的分布式机器学习将本地数据上传到中央服务器，再由中央服务器进行训练不同
。
联邦学习利用全局模型更新参数并将其分发到各数据源，在本地直接利用本地设备的数据资源训练，结束之后再上传训练的结果参数即可
。
[0003]在联邦学习模型的框架训练中，本地设备收到云端服务器下发的初始化之后的训练参数，在本地做梯度下降更新之后的模型参数再上传至中央服务器进行加权平均，重复迭代直至整个模型收敛
。
这种只交换模型参数不直接交换本地设备的数据资源的训练方法，不仅可以保障本地数据的隐私安全，还减少了本地设备和中央服务器之间的通信负载
。
保护数据隐私有很好的表现，但在面对数据异构时，模型的收敛速度和精度往往达不到想要的结果
。
处理非独立同分布的数据
(non
‑
IID)
时，本地设备之间因为数据的差异导致在训练时往往会有收敛方向不一致，如果数据相差特别大的话，可能会导致权重发散，最终影响模型收敛
。
这大大加重了本地设备和云服务器之间的通信负载
。
这种情况会对整个系统造成无法承担的网络带宽负担
。
在解决这些问题方面，大多数解决方案是处理非独立同分布数据，再参与整体的模型训练
。
例如，可以探索一些针对非
IID
数据的联邦学习算法，以解决“权重发散”问题，提高模型的准确率
。
此外，对于网络带宽负担问题，可以研究网络优化技术，或在实验中比较不同通信轮次对系统性能的影响，从而找到更有效的通信策略
。
[0004]为了提高
FL
处理异构数据的模型精度，一些模型优化技术和个性化联邦学习被相继提出，但是在提升模型精度的同时也引入了大量额外的开销
。
同时，如果将本地模型的数据暴露也会造成数据隐私安全问题
。
因此，在如何提高联邦学习模型处理
non
‑
IID
数据并且同时保证数据隐私是当前研究的热点内容
。
[0005]卷积神经网络
(CNN)
是深度学习中常用的算法，可以分为卷积层
(Convolutional Layer)
主要作用是提取特征
。
池化层
(Max Pooling Layer)
主要作用是下采样，确保不损坏识别的结果
。
全连接层
(Fully Connected Layer)
主要作用是分类
。
可以和其他深度学习框架很好的兼容，因此在人工智能，深度学习中运用广泛
。

技术实现思路

[0006]针对上述联邦学习的问题，本专利技术提出一种基于
CNN
神经网络和
K
‑
Means
算法分组训练的联邦学习工作流构建方法，在数据预处理阶段采用
Keras
深度学习模型库中所提供的预训练模型对数据进行处理提取数据的中的特征图
。
再应用传统的联邦学习训练模型进行训练
。
以解决联邦学习训练异构数据，模型性收敛速度慢，通信带宽大的问题
。
[0007]本专利技术解决技术问题所采用的技术方案：
[0008]本专利技术提出基于
CNN
神经网络和
K
‑
Means
算法分组解决数据异构联邦学习方法主要分为两个过程：
[0009]数据预处理阶段，将数据源进过
CNN
模型处理后进行特征提取，根据
K
‑
Means
算法
K
‑
Means
算法对各个设备进行聚类分组
。
[0010]联邦学习模型训练阶段，根据数据预处理阶段处理好的分组设备，由云端服务器下发的全局训练的参数，在本地和云端选择设备进行迭代训练
。
[0011]1.
在数据预处理阶段：
[0012]步骤
(1)
提取数据的特征图和哈希值，用加权平均的方法计算出特征图和哈希值的平均数
。
[0013]步骤
(2)
初始化数据结构，采用
CNN
神经网络模型对数据进行预处理，存储设备的平均特征值图和平均值哈希值
[0014]步骤
(3)
构造一个输出向量有维度的
|LSHF|
函数，用来确保
P
‑
stable LSH
函数族计算出来的哈希值是经过函数加密的
。
[0015]步骤
(4)
将
P
‑
stable LSH
函数族中每个
LSH
函数应用于各个设备的平均特征图，并对其进行哈希编码
。
[0016]步骤
(5)
保存第
i
个设备的特征图和哈希值
。
[0017]步骤
(6)
使用
K
‑
Means
算法，根据每个设备的特征图的哈希值，将所有的设备聚类成
K
组
。
[0018]2.
在本地训练阶段：
[0019]步骤
(1)
初始化本地设备；
[0020]步骤
(2)
随机选择
K
个的本地设备做梯度下降训练；
[0021]步骤
(3)
将计算之后的梯度下降训练后的本地模型上传到云端服务器
。
[0022]3.
在云端训练阶段：
[0023]步骤
(1)
用模型初始化参数
w0初始化云端服务器上的全局模型；
[0024]步骤
(2)
使用随机函数从每个设备分组中选择一个设备；
[0025]步骤
(3)
将全局模型分派到所选定的设备；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分组解决数据异构联邦学习方法，其特征在于，包括如下步骤：步骤
1、
数据预处理阶段，对数据进行特征提取，并聚类分组；步骤
2、
本地训练阶段，本地设备做梯度下降算法，并将结果上传云端服务器；步骤
3、
云端训练阶段
、
根据本地设备梯度下降结果，进行全局模型的聚合
。2.
根据权利要求1所述的一种分组解决数据异构联邦学习方法，其特征在于，步骤1具体过程如下：步骤
1.1、
提取数据的特征图和哈希值，用加权平均的方法计算出特征图和哈希值的平均数；步骤
1.2、
初始化数据结构，采用
CNN
神经网络模型对数据进行预处理，存储设备的平均特征值图和平均哈希值；步骤
1.3、
构造一个输出向量有维度的
|LSHF|
函数，使得
P
‑
stable LSH
函数族计算出的哈希值经过函数加密；步骤
1.4、
将
P
‑
stable LSH
函数族中每个
LSH
函数应用于各个设备的平均特征图，并对其进行哈希编码；步骤
1.5、
保存第
i
个设备的特征图和哈希值；步骤
1.6、
使用
K
‑
Means
算法，根据每个设备的特征图的哈希值，将所有的设备聚类成
K
组
。3.
根据权利要求1所述的一种分组解决数据异构联邦学习方法，其特征在于，步骤
1.6
中所述
K
‑
Means
算法具体过程如下：步骤
1.6.1、
定义
x
i
代表第
i
个样本，
c
i
是
x
i
所属的簇，代表簇对应的中心点，
M
是样本总数；步骤
1.6.2、
进行数据预处理，包括标准化和异常点过滤；步骤
1.6.3、
随机选择
K

【专利技术属性】
技术研发人员：魏贵义，毛德欢，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：