一种高能效的聚类联邦边缘学习策略生成方法和装置制造方法及图纸

本发明专利技术公开了一种高能效的聚类联邦边缘学习策略生成方法和装置，方法包括以下步骤：S1、云中心初始化边缘接入策略；S2、边缘基站求解其接入设备的带宽资源分配策略，将其初始化模型发送给接入设备；S3、设备计算接收到的全局模型的精度，根据全局模型和本地数据采用分层迁移策略训练本地模型，计算上传本地模型花费的能量，将测试精度与能耗的差值作为本地收益，将本地模型和本地收益上传到所接入的边缘基站；S4、边缘基站分层聚合本地模型，通过平均所有接入设备的本地收益，计算边缘收益，将边缘收益上传到云中心；S5、云中心根据收到的边缘基站的反馈信息，计算系统收益，采用深度强化学习算法调整边缘接入策略；S6、重复上述过程直至收敛。程直至收敛。程直至收敛。

【技术实现步骤摘要】
一种高能效的聚类联邦边缘学习策略生成方法和装置


[0001]本专利技术涉及数据处理
，尤其涉及一种高能效的聚类联邦边缘学习策略生成方法和装置。

技术介绍

[0002]数据安全已成为人工智能技术持续发展所面临的关键问题。传统的机器学习技术是集中式的，其收集设备的数据到处理中心，进行集中训练，然而这可能会导致用户数据隐私泄露。
[0003]联邦学习是一种有前途的分布式机器学习架构，随着设备计算能力的提升，设备可以在本地使用采集的数据训练本地模型，之后只需要把本地模型上传到处理中心进行模型聚合，避免了原始数据直接上传，极大地保护了数据隐私。
[0004]在现实生活中，设备间的数据可能呈现非独立同分布特性，这对于联邦学习训练一个统一的全局模型带来了挑战。因此研究联邦学习如何适应每一个设备上的数据是非常有意义的。目前，已经有一些个性化联邦学习的研究被提出。
[0005]个性化联邦学习包括联邦迁移学习与联邦元学习，其本质都是先获得一个所有设备共享的基础全局模型，之后再在每一个设备上根据本地数据，微调全局模型以适应个性化数据特征。不同的个性化联邦学习策略各有弊端。联邦迁移学习和联邦元学习由于首先需要得到一个涵盖绝大多数特征的全局模型，然后再进行个性化，故其只适用于异构性较弱的数据，无法处理拥有强异构数据系统的个性化问题。
[0006]多任务联邦学习也是解决联邦学习个性化的有效方法，其通过计算相关矩阵来量化不同设备模型的相似性，然后把异构的数据作为不同的学习目标，从而进行多任务学习。联邦多任务学习只适用于凸问题或双凸问题，很难拓广到如常见的神经网络等非凸问题中，具有局限性。此外，这些个性化方法大多适用于输出标签不同的数据，如每个设备只拥有所有标签的子集，无法适用于一些条件分布不同且有明显聚类结构的数据。
[0007]聚类联邦学习可以有效解决上述问题，其可以捕捉数据间的聚类结构，从而根据数据分布聚合多个模型来满足设备间异构的数据特征，极大地提高了学习准确度。由于联邦学习的隐私性，设备上的数据分布未知，这给聚类带来了极大的挑战。由理论分析可得，当学习模型之间的距离越小时，两者的数据分布越接近，故在不上传原始数据的情况下，聚类联邦学习大多采用模型距离来衡量不同设备上的数据相似性。衡量模型距离常用的指标为欧氏距离和余弦距离等。然而一些技术可以从本地模型中推断设备处的数据信息，从而造成数据隐私泄露。模型非线性加密方法能够很好地解决这个问题，但非线性加密之后的模型之间的距离与原模型距离可能不成正比，故使用本地模型距离聚类虽然计算复杂度较低，但在此情况下，无法通过加密之后的模型来判断数据间的相似性，导致聚类方法失效，所以这并不是一种可以广泛适用的方法。此外，现有的聚类联邦学习大多只考虑数据的统计异构性，忽略了系统的资源受限与通信瓶颈问题。同时，这些研究只考虑单基站场景，缺乏对多基站的拓展。对于能量有限的设备来说，通信开销是不可忽略的，单基站提供的频谱
资源有限，对于信道状态不好的设备，上传本地模型会消耗大量的设备能量，从而在训练成本预算下降低学习性能。
[0008]传统的联邦学习需要设备通过广域网将本地模型上传到云端进行聚合，而设备的电池容量往往是有限的，联邦学习的多轮通信迭代与每一轮中巨大的通信开销将消耗大量的传输能量，从而在给定的能量预算下降低学习性能。多接入边缘计算(MEC)技术是一个有前途的分布式计算框架，其能够支持许多低时延低能耗应用的需求，MEC将延迟敏感和计算密集型任务卸载到边缘，实现了实时性和高能效。联邦边缘学习利用了MEC的优势，在云与设备间加入多个基站来进一步辅助训练，设备将本地模型上传到边缘基站处聚合。这极大地减少了设备与云之间通过广域网传输的通信开销，此外，通过对边缘基站和设备的整体协调，在数据非独立同分布的情况下，使系统实现高能效和高精度。在多基站联邦学习的架构中，大多只考虑训练成本，如时间和能耗等，没有考虑统计异构性给多基站场景带来的机遇与挑战，缺乏针对训练成本与学习性能的联合优化研究。

技术实现思路

[0009]本专利技术针对上述现有技术的不足，在多边缘基站场景下，联合考虑设备的数据分布和能耗成本，找到统计异构与通信瓶颈的交叉点，从系统收益的角度出发，设计高能效和高精度的边缘接入策略与资源分配策略，提出一种高能效的聚类联邦边缘学习策略生成方法和装置。
[0010]为了实现上述目的，本专利技术提供如下技术方案：
[0011]第一方面，本专利技术提供了一种高能效的聚类联邦边缘学习策略生成方法，包括以下步骤：
[0012]S1、云中心初始化边缘接入策略；
[0013]S2、边缘基站使用凸优化方法求解其接入设备的带宽资源分配策略，并将其初始化模型发送给接入设备；
[0014]S3、设备计算接收到的全局模型在本地测试数据集上精度，并根据全局模型和本地训练数据采用分层联邦迁移方法训练本地模型，计算上传本地模型所花费的能量，将测试精度与能耗的差值作为本地收益，然后将本地模型和本地收益上传到所接入的边缘基站；
[0015]S4、边缘基站分层聚合本地模型，同时通过平均所有接入设备的本地收益，计算边缘收益，将边缘收益上传到云中心；
[0016]S5、云中心根据收到的边缘基站的反馈信息，计算系统收益，并采用深度强化学习算法调整边缘接入策略；
[0017]S6、重复上述过程直至收敛。
[0018]进一步地，步骤S1中，设备与边缘基站的接入策略a
ij
是一个二进制变量，即若设备i与边缘基站j通信，则a
ij
＝1，否则，a
ij
＝0，每个设备接入一个边缘基站。
[0019]进一步地，步骤S2中的凸优化方法具体为：对于边缘基站j及其接入设备簇给定边缘接入策略时，资源分配子问题的最优带宽分配β
ij
计算公式如下：
[0020][0021]其中，h
ij
表示设备i和边缘服务器j之间的信道增益，p
i
表示设备i的模型上传功率，N0表示高斯噪声的功率谱密度，β
ij
B
j
为接入边缘基站j的设备i所分得的带宽资源，接入边缘基站j的设备共享用带宽为B
j
的公共频谱进行通信，a
ij
表示设备与边缘基站的接入策略，β
ij
表示分配给设备i的带宽比例。
[0022]进一步地，设备根据收到的全局模型θ
j
，利用本地数据进行训练，设备i的损失函数公式为：
[0023][0024]设备使用梯度下降法更新本地模型ω
i
，公式如下：
[0025][0026]其中，η为学习步长，且η≥0；
[0027]步骤S3采用分层联邦迁移学习策略训练本地模型，将神经网络分为基础特征层和个性特征层，分层联邦迁移学习策略具体过程为：
[0028]S301、根据如下公式计算每个边缘基站经过一定轮次后的平均学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高能效的聚类联邦边缘学习策略生成方法，其特征在于，包括以下步骤：S1、云中心初始化边缘接入策略；S2、边缘基站使用凸优化方法求解其接入设备的带宽资源分配策略，并将其初始化模型发送给接入设备；S3、设备计算接收到的全局模型在本地测试数据集上精度，并根据全局模型和本地训练数据采用分层联邦迁移方法训练本地模型，计算上传本地模型所花费的能量，将测试精度与能耗的差值作为本地收益，然后将本地模型和本地收益上传到所接入的边缘基站；S4、边缘基站分层聚合本地模型，同时通过平均所有接入设备的本地收益，计算边缘收益，将边缘收益上传到云中心；S5、云中心根据收到的边缘基站的反馈信息，计算系统收益，并采用深度强化学习算法调整边缘接入策略；S6、重复上述过程直至收敛。2.根据权利要求1所述的高能效的聚类联邦边缘学习策略生成方法，其特征在于，步骤S1中，设备与边缘基站的接入策略a
ij
是一个二进制变量，即若设备i与边缘基站j通信，则a
ij
＝1，否则，a
ij
＝0，每个设备接入一个边缘基站。3.根据权利要求1所述的高能效的聚类联邦边缘学习策略生成方法，其特征在于，步骤S2中的凸优化方法具体为：对于边缘基站j及其接入设备簇给定边缘接入策略时，资源分配子问题的最优带宽分配β
ij
计算公式如下：其中，h
ij
表示设备i和边缘服务器j之间的信道增益，p
i
表示设备i的模型上传功率，N0表示高斯噪声的功率谱密度，β
ij
B
j
为接入边缘基站j的设备i所分得的带宽资源，接入边缘基站j的设备共享用带宽为B
j
的公共频谱进行通信，a
ij
表示设备与边缘基站的接入策略，β
ij
表示分配给设备i的带宽比例。4.根据权利要求1所述的高能效的聚类联邦边缘学习策略生成方法，其特征在于，步骤S3中，设备根据收到的全局模型θ
j
，利用本地数据进行训练，设备i的损失函数公式为：设备使用梯度下降法更新本地模型ω
i
，公式如下：其中，η为学习步长，且η≥0；
步骤S3在训练一定轮次后，采用分层联邦迁移学习策略训练本地模型，将神经网络分为基础特征层和个性特征层，分层联邦迁移学习策略具体过程为：S301、根据如下公式计算每个边缘基站经过一定轮次后的平均学习精度：S302、将高于平均精度的设备基础特征层模型和个性特征层模型上传到接入的边缘基站，低于平均精度的设备上传基础特征层模型，个性特征层模型在设备本地更新，公式如下：其中，为设备i的本地个性特征层模型，为迁移设备集。S303、边缘基站聚合所有设备的基础特征层模型并且聚合非迁移设备的个性特征层模型，边缘基站将聚合后的基础层模型下发到所有接入设备，而将个性层模型下发到非迁移设备，设备根据收到的模型再进行上述更新，如此迭代直到收敛。5.根据权利要求1所述的高能效的聚类联邦边缘学习策略生成方法，其特征在于，步骤S3中，将全局模型在本地测试数据集上的学习精度g
ij
作为衡量边缘基站j上的全局模型性能的指标，系统的学习性能增益G是所有设备的平均精度，公式所示：6.根据权利要求1所述的高能效的聚类联邦边缘学习策略生成方法，其特征在于，步骤S3中设备i上传本地模型所消耗的能量E
ij
公式如下：T
ij
为设备i将本地模型上传到边缘基站的传输时延，公式如下：S表示本地模型的大小，r
ij
为设备i上传模型的传输速率，公式如下：h
ij
表示设备i和边缘服务器j之间的信道增益，p
i
表示设备i的模型上传功率，N0表示高斯噪声的功率谱密度，β
ij
B
j
为接入边缘基站j的设备i所分得的带宽资源，接入边缘基站j的设备共享用带宽为B
j
的公共频谱进行通信，a
ij
表示设备与边缘基站的接入策略，β
ij
表示分配给设备i的带宽比例。7.根据权利要求1所述的高能效的聚类联邦边缘学习策略生成方...

【专利技术属性】
技术研发人员：秦晓琦，李艺璇，韩凯峰，马楠，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：