去偏置联邦学习训练方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种去偏置联邦学习训练方法、装置、计算机设备和存储介质。所述方法包括：获取参与方的本地参与方数据，以及接收中心服务器传输的联邦学习模型；根据本地参与方数据和联邦学习模型进行本地训练，获得本地数据偏置；将本地数据偏置上传至中心服务器，以及接收中心服务器传输的模型更新信息；根据模型更新信息、本地参与方数据和联邦学习模型进行迭代训练，直至模型收敛。采用本方法能够保护本地参与方数据的同时有效的对模型进行训练更新进而达到去除本地数据偏置的效果，实现模型收敛。收敛。收敛。

【技术实现步骤摘要】
去偏置联邦学习训练方法、装置、计算机设备和存储介质


[0001]本申请涉及模型训练
，特别是涉及一种去偏置联邦学习训练方法、装置、计算机设备和存储介质。

技术介绍

[0002]联邦学习(Federated Learning)实现了在保护数据隐私和安全的情况下，联合不同的参与方(clients或parties，如不同数据终端、不同企业单位)，共同训练得到一个机器学习模型，利用来自不同地方的数据帮助机器学习模型的学习和推理。相比于仅依赖本地数据训练得到的模型的表现，联邦学习能够较为安全和有效地整合数据，提升模型性能，因此联邦学习已经在诸多领域(如广告推荐、图像识别、自然语言处理、金融科技)中得到广泛应用。联邦学习按照数据的组成形态，通常可以划分为横向联邦学习(Vertical Federated Learning)和纵向联邦学习(Horizontal Federated Learning)，前者指的是联邦学习过程中使用的不同源的数据属于相同的样本空间，但是数据特征不同；后者指的是联邦学习过程中使用的数据采样自不同的样本空间，但是具有相同的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去偏置联邦学习训练方法，其特征在于，由本地终端执行，所述方法包括：获取参与方的本地参与方数据，以及接收中心服务器传输的联邦学习模型；根据所述本地参与方数据和所述联邦学习模型进行本地训练，获得本地数据偏置；将所述本地数据偏置上传至所述中心服务器，以及接收所述中心服务器传输的模型更新信息；根据所述模型更新信息、所述本地参与方数据和所述联邦学习模型进行迭代训练，直至模型收敛。2.根据权利要求1所述的方法，其特征在于，所述根据所述模型更新信息、所述本地参与方数据和所述联邦学习模型进行迭代训练，直至模型收敛，包括：根据基于上一本地数据偏置得到的上一模型更新信息对联邦学习模型进行更新，获得当前联邦学习模型；根据所述本地参与方数据和所述当前联邦学习模型进行本地估计，获得当前本地数据偏置；将所述当前本地数据偏置上传至所述中心服务器，以及接收基于所述当前本地数据偏置得到的当前模型更新信息；重复联邦学习模型的迭代训练，直至模型收敛。3.根据权利要求2所述的方法，其特征在于，所述根据所述本地参与方数据和所述当前联邦学习模型进行本地估计，获得当前本地数据偏置，包括：根据所述本地参与方数据和所述当前联邦学习模型进行贝叶斯估计，获得当前全局分布；根据所述本地参与方数据确定数据分布；根据所述当前全局分布和所述数据分布进行偏置计算，获得当前本地数据偏置。4.根据权利要求3所述的方法，其特征在于，所述本地联邦模型包括联邦学习模型参数；所述根据所述本地参与方数据和所述当前联邦学习模型进行贝叶斯估计，获得当前全局分布，包括：根据所述当前联邦学习模型的当前联邦学习模型参数确定所述当前联邦学习模型参数的当前先验分布；根据所述当前先验分布和所述本地参与方数据进行似然计算，获得当前似然分布和当前边际似然；根据所述当前似然分布、所述当前边际似然和所述当前先验分布进行本地估计，获得所述当前联邦学习模型参数的当前全局分布。5.一种去偏置联邦学习训练方法，其特...

【专利技术属性】
技术研发人员：陈彬，杨秋勇，赵少东，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：