一种联邦学习的泛化调整方法及联邦学习系统技术方案

本发明专利技术公开一种联邦学习的泛化调整方法，其首先在本地终端计算泛化差异，然后在本地终端进行第r轮训练，得到第r轮次的本地模型，并将第r轮次的本地模型及泛化差异上传至服务器端，最后在服务器端进行全局模型参数聚合，得到第r+1轮次的全局模型。其可以最小化联邦学习训练过程中各个本地终端的泛化差异方差，进而有效地降低全局模型在跨域时的泛化误差，改善联邦领域的泛化问题。善联邦领域的泛化问题。善联邦领域的泛化问题。

【技术实现步骤摘要】
一种联邦学习的泛化调整方法及联邦学习系统


[0001]本专利技术涉及机器学习
，特别涉及一种联邦学习的泛化调整方法及联邦学习系统。

技术介绍

[0002]机器学习技术已被广泛应用于数据挖掘等
，经过大量数据训练出来的机器学习模型可适用于各类场景。但是随着数字化、信息化的不断深入，诸如手机中的传感器数据、监控摄像头数据、医院诊疗数据等数据隐私保护和数据安全问题也越来越受到重视。传统的基于中心学习范式的深度学习技术往往将各种渠道收集到的数据汇总到一个中心节点统一进行模型训练，这就使得其无法保证数据隐私在收集过程中不被泄漏。为了解决这一问题，有研究提出了联邦学习框架，其核心思想在于，在多个数据源共同参与模型训练时，不需要进行原始数据流转，仅通过交互模型中间参数进行模型联合训练，原始数据可以不出本地。这种方式可以实现数据隐私保护和数据共享分析的平衡，即“数据可用不可见”的数据应用模式，进而确保拥有数据的终端在训练过程中的隐私安全。具体而言，联邦学习框架在结构上分为一个中心服务器和多个终端，数据存储在各个终端上，每个终端负责在自己的数据上完成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联邦学习的泛化调整方法，其特征在于，包括步骤：在本地终端计算泛化差异；在本地终端进行第r轮训练，以得到第r轮次的本地模型，其中r为自然数；将所述第r轮次的本地模型及所述泛化差异上传至服务器端；以及在服务器端进行全局模型参数聚合，以得到第r+1轮次的全局模型。2.如权利要求1所述的泛化调整方法，其特征在于，所述泛化差异根据第r
‑
1轮次的联邦训练得到的本地模型损失函数值与所述第r轮次的全局模型在本地数据上的损失函数值计算得到：3.如权利要求1所述的泛化调整方法，其特征在于，在本地终端采用基于梯度下降原理的神经网络训练方式进行第r轮训练。4.如权利要求1所述的泛化调整方法，其特征在于，全局模型参数聚合包括步骤：根据所述泛化差异调整聚合权重；以及基于所述聚合权重进行全局模型参数聚合。5.如权利要求4所述的泛化调整方法，其特征在于，根据所述泛化差异调整聚合权重包括步骤：...

【专利技术属性】
技术研发人员：王延峰，张瑞鹏，徐勤伟，姚江超，张娅，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：