一种异构数据下边缘侧联邦学习的客户端选择方法技术

本发明专利技术属于人工智能领域，提供了一种异构数据下边缘侧联邦学习的客户端选择方法，所述客户端选择方法包括：训练初始化，构造数据集；计算候选客户端本地权重的变化；FL服务器基于权重变化信息选择参与训练的客户端集；FL服务器计算平均权重；重复前述步骤，直至训练模型收敛性能不变；本发明专利技术实现了FL服务器在真实的异构数据环境中确保被选择的数据样本符合科学性和代表性，同时通过增加额外选择的客户端数量参数S和周期参数P进一步提升FL训练模型的准确率，并且减少能耗。并且减少能耗。并且减少能耗。

【技术实现步骤摘要】
一种异构数据下边缘侧联邦学习的客户端选择方法


[0001]本专利技术属于人工智能
，尤其涉及一种异构数据下边缘侧联邦学习的客户端选择方法。

技术介绍

[0002]随着大量数据越来越多地从智能家居、移动电话、可穿戴设备等移动设备和边缘设备中生成，对于许多应用程序来说，跨多个节点分布式训练机器学习变得至关重要。分布式训练机器学习是通过多个工作节点的协作训练模型，最常采用的方法是随机梯度下降(Stochastic Gradient Descent，SGD)的训练方法，即通过跟踪目标梯度方向，迭代优化目标函数，直到收敛，这种训练方法在每次迭代中，先使用训练数据计算下降梯度，然后再通过训练步骤沿梯度方向进行改变来更新模型参数，因其对训练数据的要求不高，操作相对简便，被广泛应用于无线通信系统、物联网等领域，但是这种模型无法满足多领域结合的技术要求。
[0003]为了适应包括分布式训练、机器学习和隐私等多个领域相结合的学习环境，一种名为联邦学习(Federated Learning，FL)的分布式训练成为各种研究和应用领域的新宠。FL的机器学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构数据下边缘侧联邦学习的客户端选择方法，其特征在于，所述客户端选择方法包括如下步骤：步骤1.训练初始化，构造数据集：步骤1.1.FL服务器从所有可用客户端集合中选择K个客户端作为参与训练的候选客户端集C
k
，(k＝1,2,...,K)；步骤1.2.FL服务器通过第一轮epoch(一代训练)对要训练的模型初始化，并得到模型初始权重W1；步骤1.3.将每个候选客户端C
k
的本地数据集D
k
所对应的样本数N
k
，分为若干个Batch，每个Batch大小为B
k
；步骤2.计算候选客户端C
k
在第t+1，(t＝0,1,2...R)轮epoch中本地权重的变化：步骤2.1.FL服务器从数据库中读取模型当前的本地权重W
t
；步骤2.2.FL服务器将当前的本地权重W
t
发送给候选客户端C
k
，候选客户端C
k
将权重更新为当前本地权重W
t
，此时，对于候选客户端C
k
，第t+1轮epoch的初始本地权重满足下式(1)：步骤2.3.候选客户端C
k
在新的一轮epoch中，采用小批次(mini
‑
batch)梯度下降的方法计算权重，对于候选客户端C
k
来说，第t+1轮epoch的最终本地权重的更新满足下式(2)：步骤2.4.计算候选客户端C
k
第t+1轮epoch的权重变化信息权重变化信息表示为当前的最终本地权重和上一轮的最终本地权重之间的欧几里得范数，即权重变化信息满足下式(3)：步骤2.5.候选客户端C
k
将权重变化信息与最终本地权重一起发送回FL服务器；步骤3.F...

【专利技术属性】
技术研发人员：赵健鑫，刘驰，冯雁浩，常欣煜，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：