【技术实现步骤摘要】
一种结合并行集成学习和联邦学习的图像分类方法
[0001]本专利技术属于联邦学习
，具体涉及一种结合并行集成学习和联邦学习的图像分类方法。
技术介绍
[0002]在目前的联邦学习技术中，普遍采用单个深度学习模型搭配服务端的聚合算法的方法。但是在实际的联邦学习场景中，不同的客户端所拥有的数据集，往往是从不同的分布中采样得到，呈现出非独立同分布(Non
‑
Independent Identically Distribution，Non
‑
IID)的关系。不同的类别在不同的客户端中的分布是不均匀的，传统的联邦学习算法往往不能很好地应对Non
‑
IID数据集，图像分类的性能会有很大的下降。因此，针对这一问题，本专利技术提出了一种结合并行集成学习和联邦学习的图像分类方法，采用交叉验证的训练方式，使用元模型聚合基础模型，减少Non
‑
IID数据集对联邦学习的影响，提高图像分类性能。
技术实现思路
[0003]本专利技术的目的是为了；联邦学习数据...
【技术保护点】
【技术特征摘要】
1.一种结合并行集成学习和联邦学习的图像分类方法，其特征在于，包括以下步骤：S1、每个客户端确定参与训练的数据集，并协商确定训练使用的基础模型、元模型和联邦学习的参数；S2、客户端之间使用参与训练的数据集和协商确定的参数，采用联邦学习的方式并行训练，得到训练后的基础模型；S3、客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；S4、客户端使用未参与训练的基础模型得到预测结果，结合原有的标签得到元模型的训练数据集；S5、将要分类的图像输入训练好的基础模型，再将得到的预测结果输入训练好的元模型，得到最终的分类结果。2.根据权利要求1所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S1包括以下子步骤：S11、每个客户端需要确定自己参与训练的数据集，不同的客户端拥有不同的独立采集的数据集，但是有着相同的分类目标。最终确定，总共m个客户端参与训练，第j个客户端参与训练的数据集为CD
j
，其中1≤j≤m；S12、客户端之间协商确定训练使用的基础模型。训练需要使用n种不同结构的基础模型来完成相同的图像分类目标。每种结构需要训练m个参数不同的模型，这些模型由不同的客户端参与训练。Model
i,j
表示使用第i种结构的基础模型，由除了客户端j以外的其他客户端联邦学习得到，其中1≤i≤n,1≤j≤m。最终确定n
×
m个需要训练的基础模型；S13、客户端之间协商确定训练使用的元模型。训练需要使用一个元模型来聚合基础模型的预测结果。元模型的输入是所有基础模型输出的组合，元模型的输出是最终的预测结果；S14、客户端之间协商确定联邦学习的参数。联邦学习的参数包括通信轮数R、本地训练次数E、训练批次大小B、学习率η。3.根据权利要求1所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S2包括以下子步骤：S21、客户端在自己参与的n
×
(m
‑
1)个模型中，按顺序选择一个模型，开始当前轮次的训练；S22、客户端从服务器下载当前模型在这一轮的全局模型参数，作为自己这一轮的本地模型参数；S23、客户端使用自己的训练集训练模型，更新本地模型参数；S24、客户端将新的本地模型参数上传到服务器。服务器收集所有客户端的模型参数，聚合得到新一轮的全局模型参数；S25、客户端回到步骤S21，继续选择下一个模型开始训练，直至n
×
(m
‑
1)个模型都训练过R轮。4.根据权利要求3所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S23中，更新本地模型的计算公式为：ω
*
＝ADAM(ω,b,η)
其中ω表示旧的本地模型参数，b为数据集中一个批次的数据，批次大小为B，η为学习率，ADAM为深度学习的优化器，可以计算出新的本地模型参数ω
*
。客户端将本地数据集分为若干个批次，轮流更新模型。当所有的批次使用完时，视为一次模型更新。客户端总共需要进行E次模型更新，视为一轮本地模型参数的更新。5.根据权利要求3所述的基于并行集成学习的联邦学习图像分类方法，其特征在于，所述步骤S24中服务器聚合模型参数的公式为：其中m表示客户...
【专利技术属性】
技术研发人员：武畅，俞浩然，刘思言，魏学麟，周奕，黄肖曼，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。