一种基于模型离散度的联邦学习训练方法技术

本发明专利技术公开了一种基于模型离散度的联邦学习训练方法。涉及边缘计算中的人工智能领域，本发明专利技术在现实环境中数据往往不平均且呈非独立同分布，数据的不平衡分布会使各个客户端上传到中央服务器的模型更新存在着不同程度的差异，因此随机挑选客户端参与训练难以训练出高质量的模型。同时，数据的不平衡分布还会放大过拟合造成的影响，严重时导致模型发散。该方法为了在数据不平衡的情况下训练出高质量的模型，采用动态损失函数的更新策略来提高模型的稳定性，并根据模型重要性来选择客户端，从而提高模型的准确度和收敛速度。同时在这两者基础上选取较大的遍历次数和适当的正则化参数μ，使模型的性能达到最佳。

【技术实现步骤摘要】
一种基于模型离散度的联邦学习训练方法
本专利技术涉及边缘计算中的人工智能领域，具体涉及一种基于模型离散度的联邦学习方法，特别是涉及一种在物联网边缘环境下基于模型离散度的联邦学习训练方法。
技术介绍
随着物联网和大数据时代的到来，大量的智能设备例如传感器等被广泛应用于日常生活中，这些设备处于无线网络的边缘，是机器学习和深度学习获取训练数据的主要途径。近年来人工智能技术的飞速发展得益于利用了这些丰富的数据进行训练。但是随着数据量的急剧增长，传统的机器学习算法的弊端越专利技术显。它把收集到的所有数据都上传到服务器端进行训练，而现有设备的硬件已无法提供与之相匹配的计算能力。分布式学习算法很好地解决了这个问题，它使用多个服务器来共同完成一个训练任务，然后再对各个服务器训练出来的模型进行整合。然而，收集到的数据仍然要先存放到云端服务器，再下发到各个子服务器中进行训练。这意味着需要将大量的数据与其他设备进行共享，从而带来一个致命的隐患——用户的隐私安全问题，物联网设备常常在没有得到用户允许的情况下私自收集用户的数据。近年来发生的多起数据泄露和滥用事件已经表明本文档来自技高网...

【技术保护点】
1.一种基于模型离散度的联邦学习训练方法，其特征在于，具体步骤包括如下：/n步骤(1.1)：各客户端从中央服务器下载最新的共享模型；/n步骤(1.2)：在随机梯度下降算法下，客户端使用基于本地训练数据改进下载的共享模型,从而获得本地模型；/n步骤(1.3)：各客户端基于本地模型的训练结果计算出模型更新Δθ

【技术特征摘要】
1.一种基于模型离散度的联邦学习训练方法，其特征在于，具体步骤包括如下：
步骤(1.1)：各客户端从中央服务器下载最新的共享模型；
步骤(1.2)：在随机梯度下降算法下，客户端使用基于本地训练数据改进下载的共享模型,从而获得本地模型；
步骤(1.3)：各客户端基于本地模型的训练结果计算出模型更新Δθm(t)和Δθm(t)的L2范数||Δθm(t)||2，并向中央服务器上传||Δθm(t)||2；
步骤(1.4)：中央服务器收集各客户端发送的||Δθm(t)||2，并根据||Δθm(t)||2的大小从中选取前K个最大的||Δθm(t)||2，并向K个||Δθm(t)||2所对应的客户端分配信道；
步骤(1.5)：对应的K个客户端向中央服务器发送模型更新Δθm(t)；
步骤(1.6)：中央服务器将收集到的模型更新Δθm(t)进行加权平均，从而产生新的共享模型；
步骤(1.7)：重复上述步骤，直至模型收敛。

【专利技术属性】
技术研发人员：朱洪波，周星光，赵海涛，陈志远，于建国，刘洪久，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32