一种面向非独立同分布数据的联邦互学习模型训练方法技术

本发明专利技术提供了一种面向非独立同分布数据的联邦互学习模型训练方法，包括：S1、将初始全局模型参数发送至中间客户端，中间客户端生成中间客户端模型参数，S2、边缘客户端利用本地数据集生成边缘客户端模型参数；S3、中间客户端和边缘客户端利用互学习方法更新参数；S4、将中间客户端模型输出的概率预测值上传至服务器，服务器利用蒸馏技术更新全局模型和中间客户端模型；S5、执行步骤S3～S4，直到模型满足收敛条件，得到最终的中间客户端模型、边缘客户端模型和全局模型，然后服务器将最终的全局模型广播到所有边缘客户端。在本发明专利技术中，通过分组互学习和知识蒸馏方法解决非独立同分布数据的联邦学习通信带宽限制和模型生成的问题。题。题。

【技术实现步骤摘要】
一种面向非独立同分布数据的联邦互学习模型训练方法


[0001]本专利技术涉及联邦学习
，具体涉及一种面向非独立同分布数据的联邦相互学习模型训练方法。

技术介绍

[0002]伴随人工智能和大数据的发展，信息资源可以在分布式网络中实现高速传输，实现了对物理信息的全局管理。云计算、边缘计算促进了深度学习的发展，深度学习模型通常含有上百万个参数，通常扩大神经网络的规模可以有效的提升模型精度，但是在分布式网络中，资源受限的边缘设备无法部署大型的神经网络模型，会出现通信延迟、拒绝低优先级的用户终端接入的情况，此时需要借助中心服务器的强大算力和存储空间。在实际生活中，企业间的数据收集、交换和归属等都受到法律法规的严格监管，获得大量且高质量的训练数据非常困难，同时隐私泄露问题日益突显。
[0003]联邦学习是一种将数据和模型解耦合的分布式框架，可以解决数据孤岛和隐私保护难题，整个过程不需要将参与方数据集中到一个中心存储点，在数据不离开本地的情况下，实现各参与方的联合建模。在联邦学习框架中，一般存在一个中心计算方，承担收集其他各方传递的模型参数信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向非独立同分布数据的联邦互学习模型训练方法，其特征在于，所述方法包括：S1、服务器将初始化全局模型参数发送至各组的中间客户端，中间客户端利用中间客户端数据集生成中间客户端模型参数，将生成的中间客户端模型参数发送到组内的边缘客户端；S2、边缘客户端接收中间客户端模型参数，边缘客户端利用本地数据集生成边缘客户端模型参数；S3、组内的中间客户端和边缘客户端利用互学习方法，执行多轮训练，更新中间客户端模型参数和边缘客户端模型参数；S4、所有组的中间客户端将中间客户端模型的标签类别概率预测值上传至服务器，更新全局模型参数；S5、重复执行步骤S3
‑
S4，直到满足收敛条件,得到中间客户端模型、边缘客户端模型和全局模型，服务器将生成的最终全局模型广播到所有边缘客户端。2.根据权利要求1所述的模型训练方法，其特征在于，全局模型、中间客户端模型、边缘客户端模型为神经网络模型。3.根据权利要求1所述的模型训练方法，其特征在于，在步骤S2中，中间客户端和边缘客户端分别在本地数据集上利用随机梯度下降算法更新模型参数。4.根据权利要求1所述的模型训练方法，其特征在于，在步骤S3中，互学习方法包括：S31、将组内的所有边缘客户端模型在t轮时的输出记为C为边缘客户端的数量，计算标签类别的概率预测值并传输到中间客户端；i表示第i个中间客户端，j表示第i个中间客户端连接的第j个边缘客户端；S32、第i组的中间客户端计算c表示边缘客户端，计算第i组的中间客户端模型与组内边缘客户端模型的KL散度D
KL
和第i组的中间客户端...

【专利技术属性】
技术研发人员：李侃，李洋，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：