本申请涉及一种去偏置联邦学习训练方法、装置、计算机设备和存储介质。所述方法包括：获取参与方的本地参与方数据，以及接收中心服务器传输的联邦学习模型；根据本地参与方数据和联邦学习模型进行本地训练，获得本地数据偏置；将本地数据偏置上传至中心服务器，以及接收中心服务器传输的模型更新信息；根据模型更新信息、本地参与方数据和联邦学习模型进行迭代训练，直至模型收敛。采用本方法能够保护本地参与方数据的同时有效的对模型进行训练更新进而达到去除本地数据偏置的效果，实现模型收敛。收敛。收敛。
【技术实现步骤摘要】
去偏置联邦学习训练方法、装置、计算机设备和存储介质
[0001]本申请涉及模型训练
，特别是涉及一种去偏置联邦学习训练方法、装置、计算机设备和存储介质。
技术介绍
[0002]联邦学习(Federated Learning)实现了在保护数据隐私和安全的情况下，联合不同的参与方(clients或parties，如不同数据终端、不同企业单位)，共同训练得到一个机器学习模型，利用来自不同地方的数据帮助机器学习模型的学习和推理。相比于仅依赖本地数据训练得到的模型的表现，联邦学习能够较为安全和有效地整合数据，提升模型性能，因此联邦学习已经在诸多领域(如广告推荐、图像识别、自然语言处理、金融科技)中得到广泛应用。联邦学习按照数据的组成形态，通常可以划分为横向联邦学习(Vertical Federated Learning)和纵向联邦学习(Horizontal Federated Learning)，前者指的是联邦学习过程中使用的不同源的数据属于相同的样本空间，但是数据特征不同；后者指的是联邦学习过程中使用的数据采样自不同的样本空间，但是具有相同的特征空间。
[0003]然而，传统方法中，基于联邦学习系统中每个参与者所处的时空特点，其各自拥有的数据往往并不服从相同的分布，这就导致使用上述训练目标的联邦学习算法性能受到较大的影响。当参与者的数据分布不一致，其学习得到的联邦模型差异较大，影响训练效率和训练效果；其次是影响联邦学习模型的应用，当参与方的数据分布和联邦学习系统其它参与者不同时，将导致模型无法正常地进行预测。<br/>
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够在模型训练过程中使得模型收敛到全局最优的去偏置联邦学习训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种去偏置联邦学习训练方法。由本地终端执行，所述方法包括：
[0006]获取参与方的本地参与方数据，以及接收中心服务器传输的联邦学习模型；
[0007]根据本地参与方数据和联邦学习模型进行本地训练，获得本地数据偏置；
[0008]将本地数据偏置上传至中心服务器，以及接收中心服务器传输的模型更新信息；
[0009]根据模型更新信息、本地参与方数据和联邦学习模型进行迭代训练，直至模型收敛。
[0010]在其中一个实施例中，根据模型更新信息、本地参与方数据和联邦学习模型进行迭代训练，直至模型收敛，包括：
[0011]根据基于上一本地数据偏置得到的上一模型更新信息对联邦学习模型进行更新，获得当前联邦学习模型；
[0012]根据本地参与方数据和当前联邦学习模型进行本地估计，获得当前本地数据偏
置；
[0013]将当前本地数据偏置上传至中心服务器，以及接收基于当前本地数据偏置得到的当前模型更新信息；
[0014]重复联邦学习模型的迭代训练，直至模型收敛。
[0015]在其中一个实施例中，根据本地参与方数据和当前联邦学习模型进行本地估计，获得当前本地数据偏置，包括：
[0016]根据本地参与方数据和当前联邦学习模型进行贝叶斯估计，获得当前全局分布；
[0017]根据本地参与方数据确定数据分布；
[0018]根据当前全局分布和数据分布进行偏置计算，获得当前本地数据偏置。
[0019]在其中一个实施例中，本地联邦模型包括联邦学习模型参数；根据本地参与方数据和当前联邦学习模型进行贝叶斯估计，获得当前全局分布，包括：
[0020]根据当前联邦学习模型的当前联邦学习模型参数确定当前联邦学习模型参数的当前先验分布；
[0021]根据当前先验分布和本地参与方数据进行似然计算，获得当前似然分布和当前边际似然；
[0022]根据当前似然分布、当前边际似然和当前先验分布进行本地估计，获得当前联邦学习模型参数的当前全局分布。
[0023]第二方面，本申请提供了一种去偏置联邦学习训练方法。由中心服务器执行，该方法包括：
[0024]构建联邦学习模型；
[0025]将联邦学习模型下发至本地终端，以及接收本地终端上传的本地数据偏置；
[0026]根据本地数据偏置对联邦学习模型进行更新，获得模型更新信息；
[0027]将模型更新信息下发至本地终端。
[0028]在其中一个实施例中，根据本地数据偏置对联邦学习模型进行更新，获得模型更新信息，包括：
[0029]根据本地数据偏置确定本地数据偏置对应参与方的权重参数；
[0030]根据权重参数、联邦学习模型的学习率和本地数据偏置对联邦学习模型进行更新，获得模型更新信息。
[0031]第三方面，本申请还提供了一种去偏置联邦学习训练装置。配置于本地终端中，该装置包括：
[0032]第一传输模块，用于获取参与方的本地参与方数据，以及接收中心服务器传输的联邦学习模型；
[0033]训练更新模块，用于根据本地参与方数据和联邦学习模型进行本地训练，获得本地数据偏置；
[0034]第一传输模块，还用于将本地数据偏置上传至中心服务器，以及接收中心服务器传输的模型更新信息；
[0035]训练更新模块，还用于根据模型更新信息、本地参与方数据和联邦学习模型进行迭代训练，直至模型收敛。
[0036]第四方面，本申请还提供了一种去偏置联邦学习训练装置。配置于中心服务器中，
该装置包括：
[0037]模型构建模块，用于构建联邦学习模型；
[0038]第二传输模块，用于将联邦学习模型下发至本地终端，以及接收本地终端上传的本地数据偏置；
[0039]模型更新模块，用于根据本地数据偏置对联邦学习模型进行更新，获得模型更新信息；
[0040]第二传输模块，还用于将模型更新信息下发至本地终端。
[0041]第五方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0042]获取参与方的本地参与方数据，以及接收中心服务器传输的联邦学习模型；
[0043]根据本地参与方数据和联邦学习模型进行本地训练，获得本地数据偏置；
[0044]将本地数据偏置上传至中心服务器，以及接收中心服务器传输的模型更新信息；
[0045]根据模型更新信息、本地参与方数据和联邦学习模型进行迭代训练，直至模型收敛。
[0046]第六方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0047]构建联邦学习模型；
[0048]将联邦学习模型下发至本地终端，以及接收本地终端上传的本地数据偏置；
[0049]根据本地数据偏置对联邦学习模型进行更新，获得模型更新信息；
[0050]将模型更新信息下发至本地终端。
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种去偏置联邦学习训练方法，其特征在于，由本地终端执行，所述方法包括：获取参与方的本地参与方数据，以及接收中心服务器传输的联邦学习模型；根据所述本地参与方数据和所述联邦学习模型进行本地训练，获得本地数据偏置；将所述本地数据偏置上传至所述中心服务器，以及接收所述中心服务器传输的模型更新信息；根据所述模型更新信息、所述本地参与方数据和所述联邦学习模型进行迭代训练，直至模型收敛。2.根据权利要求1所述的方法，其特征在于，所述根据所述模型更新信息、所述本地参与方数据和所述联邦学习模型进行迭代训练，直至模型收敛，包括：根据基于上一本地数据偏置得到的上一模型更新信息对联邦学习模型进行更新，获得当前联邦学习模型；根据所述本地参与方数据和所述当前联邦学习模型进行本地估计，获得当前本地数据偏置；将所述当前本地数据偏置上传至所述中心服务器，以及接收基于所述当前本地数据偏置得到的当前模型更新信息；重复联邦学习模型的迭代训练，直至模型收敛。3.根据权利要求2所述的方法，其特征在于，所述根据所述本地参与方数据和所述当前联邦学习模型进行本地估计，获得当前本地数据偏置，包括：根据所述本地参与方数据和所述当前联邦学习模型进行贝叶斯估计，获得当前全局分布；根据所述本地参与方数据确定数据分布；根据所述当前全局分布和所述数据分布进行偏置计算，获得当前本地数据偏置。4.根据权利要求3所述的方法，其特征在于，所述本地联邦模型包括联邦学习模型参数；所述根据所述本地参与方数据和所述当前联邦学习模型进行贝叶斯估计，获得当前全局分布，包括：根据所述当前联邦学习模型的当前联邦学习模型参数确定所述当前联邦学习模型参数的当前先验分布；根据所述当前先验分布和所述本地参与方数据进行似然计算，获得当前似然分布和当前边际似然；根据所述当前似然分布、所述当前边际似然和所述当前先验分布进行本地估计，获得所述当前联邦学习模型参数的当前全局分布。5.一种去偏置联邦学习训练方法，其特...
【专利技术属性】
技术研发人员：陈彬，杨秋勇，赵少东，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。