一种面向无线联邦学习的移动用户设备分簇训练方法技术

本发明专利技术公开了一种面向无线联邦学习的移动用户设备分簇训练方法，无线网络中有1台边缘服务服务器和多个移动用户设备，每个用户设备拥有属于本地数据集。首先利用DBSCAN算法以及LEACH算法将用户分为多个簇并选出簇头。然后每个用户利用本地数据训练各自的模型参数并上传至其所在簇的簇头进行聚合，簇头将聚合后的模型进一步上传至边缘服务器聚合。边缘服务器将聚合后的模型参数分发到簇头，并由簇头进一步分发到簇内用户设备进行下一轮训练。如此重复，直至收敛。利用该分簇训练方法，可以降低无线联邦学习的通信开销和训练时延。低无线联邦学习的通信开销和训练时延。低无线联邦学习的通信开销和训练时延。

【技术实现步骤摘要】
一种面向无线联邦学习的移动用户设备分簇训练方法


[0001]本专利技术面向物联网环境下联邦学习的
，特别针对改善联邦学习集中式聚合服务器可能会由于物理损坏或恶意用户的安全攻击而停止工作，从而中断训练进程的情况。

技术介绍

[0002]当下，人工智能(AI)已经进入生活的方方面面，众所周知，支撑AI训练的核心是数据，尤其是精确且具有分布代表性的优质数据。现实生活中，除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境也在逐步加强数据保护，陆续出台相关政策，如欧盟最近引入的新法案《通用数据保护条例》(GDPR)，我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》，在未来，数据信息会成为越来越重要的私有财产，因此数据在安全合规的前提下自由流动，成了大势所趋。面对商业公司所拥有的巨大的潜在价值的数据，两个公司甚至公司间的部门都要考虑利益的交换，往往这些机构不会提供各自数据与其他公司做直接的聚合，导致即使在同一个公司内，数据也往往以孤岛形式出现。基于以上不足以支撑实现、不允许粗暴交换、不愿意贡献价值三点，导致了现在大量存在的数据孤岛，以及隐私保护问题，联邦学习应运而生。
[0003]基于联邦学习(FL)的边缘智能可以被认为是许多新兴的、严格的延迟物联网(物联网)应用程序的一个很有前途的范例，预计在可预见的未来，物联网设备的数量将迅速激增。如何在用户加入时分配与其信道资源匹配较好的边缘端，以减少其与边缘段交互延迟显得格外重要。此外，传统的集中式FL聚合服务器可能会由于安全攻击或物理损坏而停止工作，并且伴随客户端训练延时以及客户端上传延时的而造成机器学习收敛速度慢的困扰，采用分布式架构的服务器可以提高系统的高并发，高可用，以及可扩展性能。

技术实现思路

[0004]本专利技术所要解决的技术问题是克服现有技术的不足而提供一种物联网联邦学习中移动用户设备分簇方法，通过DBSCAN密度分簇以及LEACH算法将用户多层区分，再通过评分加权选出簇头，使得每个用户将本地训练模型传输至最近的簇头进行聚合，以此减小整个分布式联邦学习的通信时延和本地训练时延，达到快速收敛。
[0005]本专利技术为解决上述技术问题采用以下技术方案：
[0006]假设无线网络中联邦学习模型由1台边缘服务器和N个移动用户设备组成，用户设备集合为Ψ＝{UE
n
|1≤n≤N}，每个用户设备UE
n
的本地训练数据集为D
n
。
[0007]一种面向无线联邦学习的移动用户设备分簇训练方法的具体步骤如下：
[0008]步骤a.第n个移动用户设备UE
n
将各自的指示信息上传至边缘服务器，其中s
n
代表第n个移动用户设备的位置坐标，代表第n个移动用户设备的速度矢量(单位米/秒)，代表第n个移动用户设备的CPU算力(单位：cycle/秒)以及P
n
代表第n个移动用户设备的发射功率。
[0009]步骤b.边缘服务器根据所有用户设备的位置坐标，采用DBSCAN算法将用户设备划分为K个不同的类别其中代表第k个类别，代表内的用户数目，未被划分至类别的用户集合为
[0010]步骤c.边缘端服务器计算内第i个用户设备的评分值。
[0011]步骤d.根据步骤c计算得到的评分值，确定簇头以及簇内成员，对用户设备进行分簇。
[0012]步骤e.每个簇内的用户设备分别进行本地训练，通过梯度下降法得到各自的本地模型参数。
[0013]步骤f.每个簇内用户设备将本地模型参数上传至所在簇的簇头进行聚合，通过加权平均计算簇模型参数。所有簇头将各自的簇模型参数上传至边缘服务器进行聚合，获得全局模型参数
[0014]步骤g.边缘服务器计算全局模型损失函数若则模型训练结束，否则返回步骤a，其中ε0表示设定精度，是一个极小的常数。
[0015]作为本专利技术所述的一种面向无线联邦学习的移动用户设备分簇训练方法进一步优化方案，所述步骤c包括步骤：
[0016]步骤c01.将内第i个用户设备表示为定义的位置坐标为和的位置坐标为边缘端服务器计算的位置度量
[0017][0018]其中，表示内除以外的用户集合。
[0019]步骤c02.定义的速度矢量和的速度矢量其中和分别是和的速率，α和β分别是和的运动方向。边缘端服务器计算的速度度量计算公式如下：
[0020][0021]其中，其中，分别表示第次记录的和的速度矢量，表示本轮联邦学习内记录速度矢量的次数。
[0022]步骤c03.边缘端服务器计算的链路保持时间度量计算公式如下：
[0023][0024]其中，
[0025][0026]其中，
[0027][0028][0029][0030]L表示自定义链路长度。
[0031]步骤c04.边缘端服务器计算用户的时延，计算公式如下：
[0032][0033]其中，η为权值，表示本地训练模型所需要的时延，表示和之间通信所需要的时延，计算公式如下：
[0034][0035]其中，表示和通信的数据量，表示它们之间的信道传输速率，表示用户设备间信道带宽，表示用户间噪声功率谱密度，表示的功率，计算公式如下：
[0036][0037]其中，E
i,k
表示本地训练模型所需计算内存的大小，用户的CPU运行速率。
[0038]步骤c05.边缘端服务器计算的评分的公式如下：
[0039][0040]其中，其中，分别表示分别表示的权值。
[0041]作为本专利技术所述的一种面向无线联邦学习的移动用户设备分簇训练方法进一步优化方案，所述步骤d包括步骤：
[0042]步骤d01.边缘端服务器设置第τ轮联邦学习的阈值用户设备从边缘端服务器下载自己的评分值和自己所属类别的阈值评分值小于阈值的用户设备选入簇头集合，大于等于该阈值的选入簇内成员集合，其中表达式如下所示：
[0043][0044]其中，p
k
表示预设的选为簇头概率百分比，G表示最近轮没有成为簇头的用户设备集合，[]为取整。该表达式的含义为：若内任意一个用户设备均不属于集合G，则否则
[0045]步骤d02.将簇内成员集合内的用户设备分配给与其欧氏距离最近的簇头，将集合中的用户设备分配给与其欧氏距离最近的簇头，完成移动用户设备的分簇。
[0046]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0047](1)本方法在保证联邦学习性能的同时，兼顾物联网环境下用户的移动性，在每轮联邦学习的过程中调整对移动用户的分簇参数，使得用户集群划分合理，用户间总的传输路径最短。
[0048](2)本方法在物联网中用户上传参数时，通过对用户各个指标加权评分的方式，选择最佳中心簇头，减少传输时延和训练时延，以此减小联邦学习训练收敛时间。
附图说明...

【技术保护点】

【技术特征摘要】
1.一种面向无线联邦学习的移动用户设备分簇训练方法，其特征在于，将移动用户设备划分为多个簇并选出簇头，簇头负责收集簇内成员的模型参数并通过边缘服务器与其它簇交互，实现联邦学习快速收敛；该方法具体包括如下步骤：步骤a.每个移动用户设备将各自的指示信息上传至边缘服务器，其中指示信息包括移动用户设备的位置坐标、速度矢量、CPU算力以及发射功率；步骤b.边缘服务器根据所有移动用户设备的位置坐标，采用DBSCAN算法将移动用户设备划分为K个不同的类别；步骤c.边缘服务器计算步骤b每个类别内移动用户设备的评分值；步骤d.根据步骤c计算得到的评分值，确定簇头以及簇内成员，对移动用户设备进行分簇；步骤e.每个簇内的移动用户设备分别进行本地训练，并通过梯度下降法得到各自的本地模型参数；步骤f.每个簇内的移动用户设备依次将各自的本地模型参数上传至所在簇的簇头进行聚合，得到对应的簇模型参数；步骤g.所有簇头将各自对应的簇模型参数上传至边缘服务器进行聚合，获得全局模型参数；步骤h.边缘服务器根据全局模型参数，计算全局模型损失函数，若全局模型损失函数小于设定精度，则训练结束，否则返回步骤a。2.根据权利要求1所述的一种面向无线联邦学习的移动用户设备分簇训练方法，其特征在于，所述步骤c包括步骤：步骤c01.边缘服务器计算第k个类别内第i个移动用户设备的位置度量计算公式如下：其中，表示的位置坐标，表示内第j个移动用户设备的位置坐标，表示内除以外的移动用户设备集合，表示内的移动用户数目；步骤c02.边缘服务器计算的速度度量V
ik
，计算公式如下：其中，分别表示第次记录的和的速度矢量，表示本轮联邦学习内记录移动用户设备速度矢量的次数；步骤c03.边缘服务器计算的链路保持时间度...

【专利技术属性】
技术研发人员：赵海涛，张晨虎，陈泽超，夏文超，倪艺洋，孔志鹏，彭敏鑫，徐婧，徐林林，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：