一种带宽感知的去中心化联邦学习方法及装置制造方法及图纸

本发明专利技术公开了一种带宽感知的去中心化联邦学习方法及装置，包括：获取MNIST数据集；搭建去中心化联邦学习框架模型并进行训练；对任一客户端建立共识优化算法，采用矩阵方式对去中心化联邦学习框架模型参数进行迭代更新；设置动态阈值；根据动态阈值对相邻的客户端进行参数交换；计算相邻的客户端在参数交换时所需最长的迭代时间，求得计算任一客户端的闲置等待时间；根据闲置等待时间和预设好的链接带宽，求得该时间段内的传输的数据量，对交换的参数进行补充传输，缩短闲置等待时间；利用测试集进行测试，并获取最佳的中心化联邦学习框架模型。架模型。架模型。

【技术实现步骤摘要】
一种带宽感知的去中心化联邦学习方法及装置


[0001]本专利技术涉及边缘智能计算
，尤其是一种带宽感知的去中心化联邦学习方法及装置。

技术介绍

[0002]随着5G和物联网(IoT)的快速发展，各类边缘设备(如智能传感器、智能手机、可穿戴设备等)得到充分普及，使得网络边缘产生的数据量爆炸性增长。大量的数据被收集到数据中心，可以针对不同的应用训练机器学习(ML)模型，如计算机视觉、语音识别、和疾病诊断。根据预测，数据增长的速度过快，导致在不久的将来互联网将无法容纳如此大量的数据。这意味着数据处理是一个繁重的过程，网络带宽的限制和计算能力的异构都会带来高成本和不可接受的延迟。针对这些问题，许多研究人员提出边缘智能这一概念，用来处理边缘设备收集的数据。其中联邦学习是边缘智能的代表性解决方案。
[0003]联邦学习(FL)是分布式机器学习框架的一种，能够在客户端上对收集到的大量分散数据集进行训练。这类算法假设有一定数量的企业愿意合作训练一个机器学习模型，同时不愿暴露自己的数据隐私、所有权和位置。因此，在联邦学习中，每个企业都仅使用自己本地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种带宽感知的去中心化联邦学习方法，其特征在于，包括以下步骤：获取MNIST数据集，并随机采样拆分为训练集和测试集；搭建去中心化联邦学习框架模型，并利用训练集进行训练；所述去中心化联邦学习框架采用无中心服务器的网络拓扑结构，且网络中共设有M个客户端；任一客户端托管一个全局模型参数的副本x；所述M为正整数；对任一客户端建立共识优化算法，并采用矩阵方式对去中心化联邦学习框架模型参数进行迭代更新；在第i个客户端内设置损失函数，其表达式为：其中，ξ表示MNIST数据集的随机采样获得的训练集；D
i
表示客户端i的本地数据集；根据动态变化的带宽设置一个动态阈值；根据动态阈值对相邻的客户端进行去中心化联邦学习框架模型的参数交换；计算相邻的客户端在参数交换时所需最长的迭代时间，求得任一客户端的闲置等待时间；根据闲置等待时间和预设好的链接带宽，求得该时间段内的传输的数据量，对交换的参数进行补充传输，缩短闲置等待时间；利用测试集进行测试，并获取最佳的中心化联邦学习框架模型。2.根据权利要求1所述的一种带宽感知的去中心化联邦学习方法，其特征在于，对任一客户端建立共识优化算法，并采用矩阵方式对去中心化联邦学习框架模型参数进行迭代更新；所述客户端采用共识优化算法对该客户端的本地的去中心化联邦学习框架模型参数进行更新，其表达式为：行更新，其表达式为：行更新，其表达式为：其中，x0表示初始参数；x1表示第一次迭代的参数；x
k
表示第k次迭代的参数；x
k+1
表示第k+1次迭代的参数；x
k+2
表示第k+2次迭代的参数；W表示一个对称的双随机矩阵；α表示学习率；I表示单位矩阵；f()表示损失函数；表示函数差值；任一客户端在任一次迭代过程中，采用矩阵运算，其表达式为：任一客户端在任一次迭代过程中，采用矩阵运算，其表达式为：其中，表示客户端j的初始参数值；表示客户端i第一轮迭代的参数值；表示客
户端i第k轮的参数值；表示客户端i第k+1轮的参数值；表示客户端i第k+2轮的参数值；w
ij
表示矩阵W中第i行第j列的值；M表示客户端的总个数；f
i
()表示客户端i的损失函数。3.根据权利要求1所述的一种带宽感知的去中心化联邦学习方法，其特征在于，根据动态变化的带宽设置一个动态阈值V，其表达式为：其中，R
k
表示预设的累计参数误差；k表示目标迭代次数；α表示学习率；G表示二次梯度界；B
i,j
表示客户端i和客户端j之间的带宽；B
i,max
表示客户端i的邻居客户端集合中最大的带宽值。4.根据权利要求3所述的一种带宽感知的去中心化联邦学习方法，其特征在于，计算相邻的客户端在参数交换时所需最长的迭代时间，求得任一客户端的闲...

【专利技术属性】
技术研发人员：段明君，范晨昱，章小宁，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：