一种分布式联邦学习协同计算方法及系统技术方案

本申请公开了一种分布式联邦学习协同计算方法及系统，其中分布式联邦学习协同计算方法具体包括以下步骤：进行深度强化学习模型训练；响应于将训练好的深度强化学习模型分别部署至各边缘服务器，进行联邦学习；联邦学习结束。本申请针对分布式联邦学习框架，打破了传统联邦学习对中心服务器的依赖，有效保证了联邦学习过程的隐私保护和安全性。邦学习过程的隐私保护和安全性。邦学习过程的隐私保护和安全性。

【技术实现步骤摘要】
一种分布式联邦学习协同计算方法及系统


[0001]本申请涉及通信领域，尤其涉及一种分布式联邦学习协同计算方法及系统。

技术介绍

[0002]金属材料工件是机械加工过程中一些产品的重要组成部分，金属材料工件质量的优劣直接影响着企业产品的市场竞争力，因此对机械加工过程中的金属材料工件表面缺陷进行检测就显得非常重要。对于金属表面的缺陷检测，可以利用深度学习技术，从生产线上采集工件图像，再从图像中提取缺陷信息，通过学习金属工件表面缺陷特征，建立金属材料工件缺陷的网络检测与缺陷识别模型。常用的检测模型包括Fast R
‑
CNN、Faster R
‑
CNN、Mask R
‑
CNN等。然而，在工业园区内，部分工厂存在数据规模有限、数据质量良莠不齐的问题。另外，由于行业竞争、隐私保护等问题，造成了数据难以在不同的企业之间共享、整合，导致这些工厂难以训练出高质量的检测模型。
[0003]联邦学习(Federated Learning,FL)是为应对人工智能实际应用时面对的数据隐私保护问题而诞生的一种人工智能学习框架。其核心目标是使各个参与方在无需直接交换数据的前提下，实现多个参与方之间的协同学习，建立共享的、全局有效的人工智能模型。在联邦学习框架下，参与方先在本地训练本地模型，再将本地模型的参数加密后上传至中心服务器，服务器对各个本地模型进行安全聚合后将更新后的全局模型参数发送给各个参与方，这一迭代过程一直重复至全局模型达到目标精度。在此过程中，参与方上传和下载的均是模型的参数，数据始终留在本地，可以很好地保护客户的数据隐私。
[0004]此外，联邦学习框架仍存在一些安全问题。模型聚合的集中式管理器可能容易受到各种威胁(例如，单点故障和DDoS攻击)，其故障(例如，扭曲所有本地模型更新)可能导致整个学习过程失败。尽管联邦学习很好地解决了各参与方数据量不足、隐私泄露等问题，分布式的联邦学习框架也能很好地解决联邦学习过程中的安全问题，但是目前的学术界很少关注分布式联邦学习的时延问题。考虑到不同的参与方在同一轮次的训练速度存在差异，先完成计算的参与方会进入消极等待时间，造成资源的浪费。同时，参与方与边缘服务器之间的网络连接是不稳定的，网络质量会因环境因素而不断变化，上传模型所需要的时间具有较大的不确定性，很可能延长模型聚合所需的时间。
[0005]因此，如何在减少每一轮联邦学习所需的时间的同时，提升每一轮全局模型的精度，降低全局模型达到目标精度的总时延，是个等待解决的问题。

技术实现思路

[0006]基于此，本申请提供一种用于智能工厂的分布式联邦学习协同计算方法，保证了联邦学习过程的安全性，并利用深度强化学习(deep reinforcement learning，DRL)技术解决了边缘服务器与参与方之间的关联及带宽资源分配问题以及参与方的计算资源分配问题。
[0007]为了达到上述目的，本申请提供了一种分布式联邦学习协同计算方法，具体包括
以下步骤：进行深度强化学习模型训练；响应于将训练好的深度强化学习模型分别部署至各边缘服务器，进行联邦学习；联邦学习结束。
[0008]如上的，其中，进行深度强化学习模型训练，具体包括以下子步骤：进行深度强化学习模型的网络参数和状态信息的初始化；各参与方根据深度强化学习模型初始化的网络参数和状态信息，进行各自本地模型的训练；响应于完成本地模型的模拟训练，生成带宽分配策略，并在每个时隙单步更新AC网络参数；响应于完成本地模型的模拟传输，生成关联策略和计算资源分配策略，并更新DQN网络参数；检测深度强化学习模型是否收敛或最大迭代次数；若未收敛或最大迭代次数，则开始下一轮迭代，重新进行本地模型的训练。
[0009]如上的，其中，将金属表面缺陷检测模型作为本地模型。
[0010]如上的，其中，初始化的状态信息具体包括：初始化Actor网络、Critic网络、DQN网络的参数及收敛精度，各参与方的位置坐标[x
k
，y
k
]、初始mini
‑
batch值CPU频率f
k
，各边缘服务器的位置坐标[x
m
，y
m
]及最大带宽B
m
，时隙长度Δt和最大迭代次数I。
[0011]如上的，其中，参与方进行本地模型的训练过程为，将本地数据集D
k
划分为若干个大小为的小批量b，并通过以下公式更新局部权重来训练小批量b，以此完成本地模型的训练，其中训练过程表示为：
[0012][0013]其中，η表示学习率，表示每一个小批量b的损失函数的梯度，表示第i轮迭代中参与方k的本地模型。
[0014]如上的，其中，在进行本地模型的模拟训练，还包括，确定第i轮本地训练时参与方k所需要的时间，第i轮本地训练时参与方k所需要的时间具体表示为：
[0015][0016]其中，c
k
表示参与方k训练单个数据样本时的CPU周期数，τ表示参与方执行MBGD算法时的迭代次数，f
k
表示参与方k训练时的CPU周期频率，表示参与方k在第i轮执行本地训练时的mini
‑
batch值。
[0017]如上的，其中，将当前快尺度状态空间作为AC网络的输入，得到快尺度动作空间，即带宽资源分配策略；快尺度状态空间s表示为：
[0018]表示各参与方未完成传输的模型大小，表示每个时隙参与方上传模型的传输速率，t表示时隙，Δt表示时隙长度；
[0019]快尺度动作空间快尺度动作空间即为带宽资源分配策略，其中表示边缘服务器m每个时隙为参与方k分配的带宽。
[0020]如上的，其中，将训练好的深度强化学习模型的各参数按照确定的带宽资源分配策略上传至边缘服务器的过程中，第i轮参与方k和边缘服务器m之间的可用上行数据传输速率表示为：
[0021][0022]其中，P
k
表示参与方k的传输功率，表示加性高斯白噪声的功率谱密度，k示参与方k和边缘服务器m的信道增益，ψ0表示参考距离处的信道功率增益。
[0023]如上的，其中，还包括，第i轮参与方k将深度强化学习模型参数上传到边缘服务器m所用的时间具体表示为：
[0024][0025]其中，ξ表示金属表面缺陷检测模型的大小，表示第i轮参与方k和边缘服务器m之间的可用上行数据传输速率。
[0026]一种分布式联邦学习协同计算系统，具体包括：深度强化学习单元以及联邦学习单元；其中深度强化学习单元，用于进行深度强化学习模型训练；联邦学习单元，用于根据深度强化学习模型生成的关联策略和计算即带宽资源分配策略进行联邦学习。
[0027]本申请具体以下有益效果：
[0028](1)本实施例提供的分布式联邦学习协同计算方法及系统针对分布式联邦学习框架，打破了传统联邦学习对中心服务器的依赖，有效保证了联邦学习过程的隐私保护和安全性。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式联邦学习协同计算方法，其特征在于，具体包括以下步骤：进行深度强化学习模型训练；响应于将训练好的深度强化学习模型分别部署至各边缘服务器，进行联邦学习：联邦学习结束。2.如权利要求1所述的分布式联邦学习协同计算方法，其特征在于，进行深度强化学习模型训练，具体包括以下子步骤：进行深度强化学习模型的网络参数和状态信息的初始化；各参与方根据深度强化学习模型初始化的网络参数和状态信息，进行各自本地模型的训练；响应于完成本地模型的模拟训练，生成带宽分配策略，并在每个时隙单步更新AC网络参数；响应于完成本地模型的模拟传输，生成关联策略和计算资源分配策略，并更新DQN网络参数；检测深度强化学习模型是否收敛或最大迭代次数；若未收敛或最大迭代次数，则开始下一轮迭代，重新进行本地模型的训练。3.如权利要求2所述的分布式联邦学习协同计算方法，其特征在于，将金属表面缺陷检测模型作为本地模型。4.如权利要求2所述的分布式联邦学习协同计算方法，其特征在于，初始化的状态信息具体包括：初始化Actor网络、Critic网络、DQN网络的参数及收敛精度，各参与方的位置坐标[x
k
，y
k
]、初始mini
‑
batch值CPU频率f
k
，各边缘服务器的位置坐标[x
m
，y
m
]及最大带宽B
m
，时隙长度Δt和最大迭代次数I。5.如权利要求2所述的分布式联邦学习协同计算方法，其特征在于，参与方进行本地模型的训练过程为，将本地数据集D
k
划分为若干个大小为的小批量b，并通过以下公式更新局部权重来训练小批量b，以此完成本地模型的训练，其中训练过程表示为：其中，η表示学习率，表示每一个小批量b的损失函数的梯度，表示第i轮迭代中参与方良的本地模型。6.如权利要求2所述的分布式联邦学习协同计算方法，...

【专利技术属性】
技术研发人员：张天魁，刘天泽，陈泽仁，徐琪，章园，
申请(专利权)人：江西鑫铂瑞科技有限公司，
类型：发明
国别省市：