【技术实现步骤摘要】
一种基于全局总和估计的异构混合数据的联邦学习方法
[0001]本专利技术涉及人工智能
，尤其涉及一种基于全局总和估计的异构混合数据的联邦学习方法。
技术介绍
[0002]随着科学技术的发展，现今社会数字化进程不断加快，人们对生活水平的要求不断提高，包括智能家居、智慧医疗和虚拟现实等超多领域的智能应用逐渐兴起；多样的应用产生了海量的连接数据，为了分析计算如此庞大的数据，人工智能算法应运而生；然而，传统的AI应用程序是基于云计算中心的，即云计算中心从各个客户端或小型化计算中心收集超大规模数据之后，进一步训练机器学习模型，但是，这样的方法面临两大挑战，包括高昂的通信成本和延迟带来的通信质量损失，因数据隐私无法上传原始数据。
[0003]为应对以上挑战，联邦学习作为一种新兴的具有隐私保护功能的分布式安全计算架构，成为当下研究的热点，为机器学习等AI算法提供隐私计算支撑；在联邦学习框架下，我们无需访问即可在海量客户端(例如，移动设备或机构)上进行协作模型学习他们的原始数据。具体地，FL的系统中有多个拥有本地数据分布式机构...
【技术保护点】
【技术特征摘要】
1.一种基于全局总和估计的异构混合数据的联邦学习方法，其特征在于：所述联邦学习方法包括：配置系统网络环境为1个中心服务器和M个移动的客户端，并构建客户端本地数据库得到全局数据矩阵，其中S表示样本个数，D表示每个样本的特征数，进而令其中表示第i个样本，并且，在系统中，每个客户端仅拥有部分的样本和部分的特征；构建客户端本地数据矩阵：首先获取客户端本地数据集，其中只含有部分样本和这些部分样本的部分特征；然后，进行充零操作，将客户端本地数据库矩阵所不含的样本和特征全部设置为零，得到客户端m拥有的数据矩阵表示为其中S表示样本个数，D表示每个样本的特征数，表示构建的第m个客户端的第i个样本，i∈[S]表示i＝1，...，S.，，共有D个特征，如果客户端m拥有样本i的第j个特征，那么客户端处的特征等于全局数据矩阵中对应的特征，即(a
m，i
)
j
＝(a
i
)
j
，如果客户端不能观察到该特征，则令特征为零，即(a
m，i
)
j
＝0；分析客户端本地数据矩阵与全局数据矩阵的关系，从本地数据矩阵的建立过程可得，全局数据矩阵的每个样本的特征都是所有客户端本地矩阵样本的特征总和，即构建系统模型，构建基于非均匀数据的HBFL问题；设置模型参数；本地模型更新：在第r＝1，
…
，T轮迭代时，每个客户端m＝1,
…
,M平行地进行Q次本地模型更新，对于客户端m，客户端从中心服务器处收到网络的第一层参数θ
r
，网络第二层及后续多层参数x
r
，第一层网络输出估计参数然后初始本地多步迭代的第0步为模型聚合与广播：每个客户端将本地模型上传至中心服务器，中心服务器对各个客户端模型进行平均后回传给各个客户端；重复T轮本地模型更新步骤和模型聚合与广播步骤，得到基于第T轮获得的参数θ和x的共同神经网络模型；每个客户端或者中心服务器将含有整个特征集的样本数据输入学习到的共同神经网络模型中，从而获得图像高准确率的分类。2.根据权利要求1所述的一种基于全局总和估计的异构混合数据的联邦学习方法，其特征在于：所述构建客户端本地数据库的具体内容如下：利用成像设备抓取物体某个角度的图像，并记录每个物体的标签，以作为图像分类任务的数据来源，并判断图像的类型以确定数据分布；将每个物体看作一个样本，各个客户端获得的图像作为部分特征集，并设置每个客户端仅拥有一部分的样本集和特征集，且不同客户端拥有的特征集不重叠；将每个样本作为数据矩阵的一行，每个客户端的特征图像则拉成一个向量，作为数据矩阵的部分列；设置表示全局数据矩阵，其中S表示样本个数，D表示每个样本的特征数，进而
其中表示第i个样本，每个样本含有D个特征。3.根据权利要求1所述的一种基于全局总和估计的异构混合数据的联邦学习方法，其特征在于：所述构建系统模型的具体内容如下：选取某一深度神经网络模型进行图像分类，将深度神经网络模型分为第一层和后续多层两个部分，第一层为全连接层，后续多层包括其它各种类型的深度学习网络；设置表示第一层的参数...
【专利技术属性】
技术研发人员：高海青，葛颂阳，张纵辉，
申请(专利权)人：深圳市大数据研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。