基于模拟退火的能耗与联邦学习性能的联合优化方法、装置、可存储介质及设备制造方法及图纸

本发明专利技术公开了一种基于模拟退火的能耗与联邦学习性能的联合优化方法，属于通信技术领域，包括获取参与联邦学习用户的总能耗以及考虑错包率引起的总收敛间隔，确定系统总代价函数及约束条件，构建总代价函数最小化的优化问题；对优化问题进行求解，获取最优用户选择、最优带宽分配和最优发送功率；获取最优用户选择中的用户，使用户按照最优带宽分配与最优发送功率参与联邦学习。本发明专利技术解决了现有技术中联邦学习的用户调度与资源分配策略不合理，影响联邦学习性能与用户能耗之间的平衡问题，采用模拟退火、KKT条件和迭代方法对总代价函数最小化的优化问题求解，得到合理的用户选择和资源分配方案，实现在保障联邦学习性能的同时，降低用户总能耗。降低用户总能耗。降低用户总能耗。

【技术实现步骤摘要】
基于模拟退火的能耗与联邦学习性能的联合优化方法、装置、可存储介质及设备


[0001]本专利技术涉及通信
，尤其涉及一种基于模拟退火的能耗与联邦学习性能的联合优化方法、装置、可存储介质及设备。

技术介绍

[0002]随着移动通信和物联网的发展，设备产生的数据量激增，用户越来越注重数据的隐私保护，因此传统的将数据发送到云端服务器进行集中式机器学习已不能满足要求，作为分布式机器学习的联邦学习得到了人们的关注。在联邦学习中，用户使用本身的数据协作训练一个局部模型，然后上传给中央服务器进行安全聚合，并构建新的全局模型，之后中央服务器将全局模型传输给用户以更新其局部模型，迭代这个过程，直到达到全局模型的精度要求。相比于集中式学习和分布式现场学习，联邦学习有效地解决了数据隐私保护问题和“数据孤岛”现象，使数据的价值得到更大的发挥，提高了人工智能算法的性能。然而，由于通信资源的有限性，并不是所有的用户都能参与联邦学习，同时由于无线链路传输的不可靠性，可能存在错包率影响联邦学习的性能。因此，在无线网络中，如何制定合理有效的用户调度与资源分配策略，对联邦学习性能以及终端能耗有很大影响。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中的不足，提供一种基于模拟退火的能耗与联邦学习性能的联合优化方法、装置、可存储介质及设备，解决现有技术中联邦学习的用户调度与资源分配策略不合理，影响联邦学习性能与用户能耗之间的平衡的问题。
[0004]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0005]第一方面，本专利技术提供了一种基于模拟退火的能耗与联邦学习性能的联合优化方法，包括：
[0006]获取参与联邦学习用户的总能耗以及考虑错包率引起的总收敛间隔，确定系统总代价函数及约束条件，构建总代价函数最小化的优化问题；
[0007]对所述优化问题进行求解，获取最优用户选择、最优带宽分配和最优发送功率；
[0008]获取最优用户选择中的用户，使所述用户按照所述最优带宽分配与最优发送功率参与联邦学习。
[0009]结合第一方面，进一步的，所述获取最优用户选择中的用户，使所述用户按照所述最优带宽分配与最优发送功率参与联邦学习，包括：
[0010]获取最优用户选择、最优带宽分配和最优发送功率的数据训练局部模型，并将所述局部模型进行安全聚合，构建全局模型。
[0011]结合第一方面，进一步的，所述参与联邦学习用户的总能耗包括训练其局部模型所需的训练能耗和通信能耗；
[0012]所述通信能耗的计算公式为：
[0013][0014]式中，E
iup
为用户i的通信能耗，t
iup
为用户i将训练完的模型上传到基站所需的上传时延，p
i
为用户i的发送功率，b
i
为分配给用户i的带宽，h
i
为用户i的信道增益，N0为噪声功率，L为神经网络模型w数据大小；
[0015]所述训练能耗的计算公式为：
[0016][0017][0018]式中，E
icomp
为用户i在一轮全局迭代中训练其局部模型所需的训练能耗，t
icomp
为用户i通过其局部数据集训练局部模型的训练时延，D
i
为用户i的样本数据量，f
i
为用户i的CPU每秒转的圈数，C
i
表示用户i处理一个样本数据CPU转的圈数，为达到所需精度ε需要的局部迭代次数，θ是一个由全局模型决定的常数，κ为一个由开关电容决定的常数；κf
i2
为用户i计算一圈CPU所需能耗；为训练D
i
个样本数据CPU转的圈数；
[0019]所述错包率为传输局部模型时出现的错包率；所述错包率的表达式为：
[0020][0021]式中，m0是一个阈值，q
i
为传输局部模型时出现的错包率；
[0022]所述考虑错包率引起的总收敛间隔的表达式为：
[0023][0024]式中，a
i
为用户i是否被选择，ζ1、ζ2和μ均为大于0的常数。
[0025]结合第一方面，进一步的，所述系统总代价函数的定义表达式为：
[0026][0027]式中，γ为加权系数，C为系统总代价函数；
[0028]所述系统的优化问题为：
[0029][0030]约束条件为：
[0031](1)a
i
∈{0,1},
[0032](2)
[0033](3)
[0034](4)
[0035](5)b
i
≥0,
[0036]其中，
[0037]式中，P为系统的优化问题，B为系统总带宽，T为联邦学习中一轮全局迭代允许的最大总时间，为用户i的最大发送功率，为基站传输全局模型到用户i的广播时延，p
d
为基站的发送功率，集合I'为参与联邦学习的用户集合，约束条件(1)表示a
i
是0
‑
1变量，a
i
＝1表示用户i被选择，否则a
i
＝0；约束条件(2)表示分配给所有参与联邦学习的用户的带宽总和不能超过总带宽B；约束条件(3)表示参与联邦学习的用户一轮全局迭代的总时延不能超过允许的最大总时延T；约束条件(4)是对用户的发送功率约束；约束条件(5)是对用户的带宽分配约束。
[0038]结合第一方面，进一步的，所述对所述优化问题进行求解，获取最优用户选择、最优带宽分配和最优发送功率，包括以下步骤：
[0039]初始化用户选择和用户的带宽分配；
[0040]根据所述用户选择和所述用户的带宽分配，基于模拟退火求解得到最优发送功率；
[0041]根据所述用户选择和所述最优发送功率，基于KKT条件求解得到最优带宽分配；
[0042]重复最优发送功率和最优带宽分配的求解步骤，当系统总代价函数达到收敛时，确定每个用户对系统总代价函数的贡献值；
[0043]当对系统总代价函数贡献值最大的用户参与联邦学习时，更新用户选择，并初始化用户的带宽分配，重复最优发送功率和最优带宽分配的求解步骤；
[0044]当对系统总代价函数贡献值最大的用户不参与联邦学习时，得到总代价函数最小时的最优决策，所述最优决策包括最优用户选择、最优带宽分配和最优发送功率；
[0045]其中，所述每个用户对系统总代价函数的贡献值定义为：
[0046][0047]式中，η
i
为每个用户对系统总代价函数的贡献值。
[0048]结合第一方面，进一步的，所述根据所述用户选择和所述用户的带宽分配，基于模拟退火求解得到最优发送功率，包括：
[0049]确定用户选择和用户的带宽分配，优化发送功率；
[0050]所述优化问题P等效为P1：
[0051][0052]约束条件为：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模拟退火的能耗与联邦学习性能的联合优化方法，其特征在于，包括：获取参与联邦学习用户的总能耗以及考虑错包率引起的总收敛间隔，确定系统总代价函数及约束条件，构建总代价函数最小化的优化问题；对所述优化问题进行求解，获取最优用户选择、最优带宽分配和最优发送功率；获取最优用户选择中的用户，使所述用户按照所述最优带宽分配与最优发送功率参与联邦学习。2.如权利要求1所述的一种基于模拟退火的能耗与联邦学习性能的联合优化方法，其特征在于，所述获取最优用户选择中的用户，使所述用户按照所述最优带宽分配与最优发送功率参与联邦学习，包括：获取最优用户选择、最优带宽分配和最优发送功率的数据训练局部模型，并将所述局部模型进行安全聚合，构建全局模型。3.如权利要求2所述的一种基于模拟退火的能耗与联邦学习性能的联合优化方法，其特征在于，所述参与联邦学习用户的总能耗包括训练其局部模型所需的训练能耗和通信能耗；所述通信能耗的计算公式为：式中，E
iup
为用户i的通信能耗，t
iup
为用户i将训练完的模型上传到基站所需的上传时延，p
i
为用户i的发送功率，b
i
为分配给用户i的带宽，h
i
为用户i的信道增益，N0为噪声功率，L为神经网络模型w数据大小；所述训练能耗的计算公式为：所述训练能耗的计算公式为：式中，E
icomp
为用户i在一轮全局迭代中训练其局部模型所需的训练能耗，t
icomp
为用户i通过其局部数据集训练局部模型的训练时延，D
i
为用户i的样本数据量，f
i
为用户i的CPU每秒转的圈数，C
i
表示用户i处理一个样本数据CPU转的圈数，为达到所需精度ε需要的局部迭代次数，θ是一个由全局模型决定的常数；κ为一个由开关电容决定的常数，κf
i2
为用户i计算一圈CPU所需能耗；为训练D
i
个样本数据CPU转的圈数；所述错包率为传输局部模型时出现的错包率；所述错包率的表达式为：式中，m0是一个阈值，q
i
为传输局部模型时出现的错包率；所述考虑错包率引起的总收敛间隔的表达式为：
式中，a
i
为用户i是否被选择，ζ1、ζ2和μ均为大于0的常数。4.如权利要求3所述的一种基于模拟退火的能耗与联邦学习性能的联合优化方法，其特征在于，所述系统总代价函数的定义表达式为：式中，γ为加权系数，C为系统总代价函数；所述系统的优化问题为：约束条件为：(1)(2)(3)(4)(5)其中，式中，P为系统的优化问题，B为系统总带宽，T为联邦学习中一轮全局迭代允许的最大总时间，为用户i的最大发送功率，为基站传输全局模型到用户i的广播时延，p
d
为基站的发送功率，集合I'为参与联邦学习的用户集合，约束条件(1)表示a
i
是0
‑
1变量，a
i
＝1表示用户i被选择，否则a
i
＝0；约束条件(2)表示分配给所有参与联邦学习的用户的带宽总和不能超过总带宽B；约束条件(3)表示参与联邦学习的用户一轮全局迭代的总时延不能超过允许的最大总时延T；约束条件(4)是对用户的发送功率约束；约束条件(5)是对用户的带宽分配约束。5.根据权利要求4所述的基于模拟退火的能耗与联邦学习性能的联合优化方法，其特征在于，所述对所...

【专利技术属性】
技术研发人员：朱琦，颜贺，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：