基于特征异构分布式调度的混合联邦学习通信机制制造技术

本发明专利技术公开了基于特征异构分布式调度的混合联邦学习通信机制，涉及混合联邦学习技术领域，包括全局模型层、若干边缘模型层和若干本地模型层组成，若干所述边缘模型层与全局模型层交互连接，若干所述边缘模型层与若干本地模型层交互连接，若干所述本地模型层可以上传本地模型给相对应的边缘模型层，若干所述边缘模型层可以将边缘模型下发给本地模型层，若干所述边缘模型层可以上传边缘模型给全局模型层，所述全局模型层可以将全局模型下发给边缘模型层。本发明专利技术减少对全局增益较小的冗余通信，提高了通信的效率。提高了通信的效率。提高了通信的效率。

【技术实现步骤摘要】
基于特征异构分布式调度的混合联邦学习通信机制


[0001]本专利技术涉及混合联邦学习
，尤其涉及基于特征异构分布式调度的混合联邦学习通信机制。

技术介绍

[0002]联邦学习是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡，即“数据可用不可见”、“数据不动模型动”的应用新范式。
[0003]混合联邦学习也是联邦学习的一种形式，在混合联邦学习的过程中需要用到混合联邦学习通信机制，现有的混合联邦学习通信机制无法对边缘节点进行自适应判断，无法减少对全局增益较小的冗余通信，通信效率较低，因此亟需基于特征异构分布式调度的混合联邦学习通信机制来改变这一现状。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的基于特征异构分布式调度的混合联邦学习通信机制。其优点在于减少对全局增益较小的冗余通信，提高了通信的效率。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]基于特征异构分布式调度的混合联邦学习通信机制，包括全局模型层、若干边缘模型层和若干本地模型层组成，若干所述边缘模型层与全局模型层交互连接，若干所述边缘模型层与若干本地模型层交互连接，若干所述本地模型层可以上传本地模型给相对应的边缘模型层，若干所述边缘模型层可以将边缘模型下发给本地模型层，若干所述边缘模型层可以上传边缘模型给全局模型层，所述全局模型层可以将全局模型下发给边缘模型层。
[0007]本专利技术进一步设置为，所述边缘模型层包括无线通讯终端和边缘服务器，且无线通信终端包括2G通信、3G通信、4G通信和5G通信中的其中一种，优选为5G通信。通过无线通讯终端和边缘服务器能够实现混合联邦学习的数据通信，提高了通信过程中网络的传输质量。
[0008]本专利技术进一步设置为，所述全局模型层包括云中心服务器，所述云中心服务器可以实现模型的云端聚合。
[0009]本专利技术进一步设置为，所述本地模型包括客户端，且客户端由移动终端、摄像头和计算机组成，所述移动终端包括手机、平板电机和笔记本电脑。通过移动终端可以方便随时随地进行本地模型的上传，提高了模型上传的便捷性。
[0010]本专利技术进一步设置为，所述边缘服务器数量设为L个，客户端设为N个，每个边缘服务器下具有不相交的客户端集合每个客户端上具有分布式的数据集i为数据集索引，其中第l个边缘服务器上完成聚合的数据集表示为D
l
，每个边缘服务器聚合
来自对应的客户端由本地数据集所计算得到的参数，将表示为训练总数据集，将D表示为训练样本总数，其中x
j
是第j个输入样本，y
j
是相应的输出标签，w表示为模型参数，第j个样本的损失函数为f
j
(w)＝f(x
j
,y
j
；w)，本地模型训练过程的目的是基于该数据集使得总损失函数f(w)最小化，但由于在分布式系统中，总损失函数无法求得，采用所有样本的损失函数加权平均求和，即
[0011][0012]本专利技术进一步设置为，所述损失函数取决于机器学习训练模型，通常使用随机梯度下降来求解，该梯度表示为g(θ
k
)＝
▽
F
k
(w)，其中，k表示为本地模型迭代总次数。
[0013]本专利技术进一步设置为，所述客户端设备更新本地模型后并计算其平均梯度参数，计算公式为其中，η为学习率。
[0014]本专利技术进一步设置为，在CE
‑
EDFL架构中，客户端运用本地数据集执行本地模型训练，在完成K1次本地更新后，对应的每个边缘服务器聚合其所有客户端的模型，采用FedFvg对其模型参数进行加权平均计算，计算公式为得到第l个边缘服务器上的聚合模型w
l
(k)，然后在完成K2次边缘模型聚合之后，云服务器聚合所有边缘服务器参数模型
[0015]本专利技术进一步设置为，所述云中心服务器聚合边缘服务器上传的参数并为下一轮训练建立了新的全局模型，并下发给所有边缘服务器,重复此过程，直至满足某一模型收敛标准,该标准的计算公式为其中δ为收敛阀值，loss
k
为模型训练损失。
[0016]本专利技术进一步设置为，所述摄像头为无线摄像头，且无线摄像头可上传本地模型给边缘模型。
[0017]本专利技术的有益效果为：该基于特征异构分布式调度的混合联邦学习通信机制，通过对边缘节点进行自适应判断，从而完成剔除“懒惰节点”，减少对全局增益较小的冗余通信，提高了通信的效率。
附图说明
[0018]图1为本专利技术提出的基于特征异构分布式调度的混合联邦学习通信机制的整体结构示意图；
[0019]图2为本专利技术提出的基于特征异构分布式调度的混合联邦学习通信机制的无线通信终端结构示意图；
[0020]图3为本专利技术提出的基于特征异构分布式调度的混合联邦学习通信机制的移动终端结构示意图。
具体实施方式
[0021]下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
[0022]下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
[0023]在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。
[0024]在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
[0025]参照图1，基于特征异构分布式调度的混合联邦学习通信机制，包括全局模型层、若干边缘模型层和若干本地模型层组成，若干边缘模型层与全局模型层交互连接，若干边缘模型层与若干本地模型层交互连接，若干本地模型层可以上传本地模型给相对应的边缘模型层，若干边缘模型层可以将边缘模型下发给本地模型层，若干边缘模型层可以上传边缘模型给全局模型层，全局模型层可以将全局模型下发给边缘模型层。
[0026]参照图2，边缘模型层包括无线通讯终端和边缘服务器，且无线通信终端包括2G通信、3G通信、4G通信和5G通信中的其中一种，优选为5G通信。通过无线通讯终端和边本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于特征异构分布式调度的混合联邦学习通信机制，其特征在于，包括全局模型层、若干边缘模型层和若干本地模型层组成，若干所述边缘模型层与全局模型层交互连接，若干所述边缘模型层与若干本地模型层交互连接，若干所述本地模型层可以上传本地模型给相对应的边缘模型层，若干所述边缘模型层可以将边缘模型下发给本地模型层，若干所述边缘模型层可以上传边缘模型给全局模型层，所述全局模型层可以将全局模型下发给边缘模型层。2.根据权利要求1所述的基于特征异构分布式调度的混合联邦学习通信机制，其特征在于，所述边缘模型层包括无线通讯终端和边缘服务器，且无线通信终端包括2G通信、3G通信、4G通信和5G通信中的其中一种，优选为5G通信。3.根据权利要求1所述的基于特征异构分布式调度的混合联邦学习通信机制，其特征在于，所述全局模型层包括云中心服务器，所述云中心服务器可以实现模型的云端聚合。4.根据权利要求1所述的基于特征异构分布式调度的混合联邦学习通信机制，其特征在于，所述本地模型包括客户端，且客户端由移动终端、摄像头和计算机组成，所述移动终端包括手机、平板电机和笔记本电脑。5.根据权利要求1所述的基于特征异构分布式调度的混合联邦学习通信机制，其特征在于，所述边缘服务器数量设为L个，客户端设为N个，每个边缘服务器下具有不相交的客户端集合每个客户端上具有分布式的数据集i为数据集索引，其中第l个边缘服务器上完成聚合的数据集表示为D
l
，每个边缘服务器聚合来自对应的客户端由本地数据集所计算得到的参数，将表示为训练总数据集，将|D|表示为训练样本总数，其中x
j
是第j个输入样本，y
j
是相应的输出标签，w表示为模型参数，第j个样本的损失函数为f
...

【专利技术属性】
技术研发人员：林国义，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：