纵向联邦学习激励的训练方法、电子装置和存储介质制造方法及图纸

本申请涉及一种纵向联邦学习激励的训练方法、电子装置和存储介质，其中，该纵向联邦学习激励的训练方法包括：纵向联邦学习中的发起方根据需求，确定纵向联邦学习的学习模式；纵向联邦学习中的成员方根据学习模式，获取纵向联邦学习的总模型参数，根据预设的半激励模型，获取半激励参数；根据学习模式，至少一个成员方将总模型参数和半激励参数上链；纵向联邦学习中的成员方从区块链获取半激励参数，将半激励参数作为预设的激励模型的输入，获取所有成员方的激励参数。通过本申请，解决了采用简单的算术平均操作对所有成员方的激励进行计算，导致联邦学习的训练效果较差的问题，提高了纵向联邦学习模型的准确度。了纵向联邦学习模型的准确度。了纵向联邦学习模型的准确度。

【技术实现步骤摘要】
纵向联邦学习激励的训练方法、电子装置和存储介质


[0001]本申请涉及联邦学习
，特别是涉及纵向联邦学习激励的训练方法、电子装置和存储介质。

技术介绍

[0002]随着人工智能技术的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，联邦学习中的发起方和参与方作为成员方，在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。由于联邦学习过程需要大量的数据来支持，而数据又大都分布于不同的数据持有方，所以需要联合各个数据持有方来进行模型构建。在联合各个数据持有方进行模型构建时，需要评估各个数据持有方的数据对模型训练的贡献度。
[0003]在相关技术中，联邦学习每个成员方发的模型、数据被同等对待，权重设为相同，采用简单的算术平均操作，对所有成员方的模型和数据进行融合。在这种权重设置方式下，每个成员方不论数据质量如何，都得到相同的激励，不能有效激发成员方发送真实的模型性能测试指标，也不能控制参与者的虚假测试指标对联邦学习模型性能的影响，导致联邦学习的训练效果较差。
[0004]目前针对相关技术中采用简单的算术平均操作对所有成员方的激励进行计算，导致联邦学习的训练效果较差的问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种纵向联邦学习激励的训练方法、电子装置和存储介质，以至少解决相关技术中采用简单的算术平均操作对所有成员方的激励进行计算，导致联邦学习的训练效果较差的问题。
[0006]第一方面，本申请实施例提供了一种纵向联邦学习激励的训练方法，包括：
[0007]纵向联邦学习中的发起方根据需求，确定所述纵向联邦学习的学习模式；
[0008]所述纵向联邦学习中的成员方根据所述学习模式，获取所述纵向联邦学习的总模型参数，根据预设的半激励模型，获取半激励参数，其中，所述成员方包括所述纵向联邦学习中的发起方和参与方；
[0009]根据所述学习模式，至少一个所述成员方将所述总模型参数和半激励参数上链；
[0010]所述纵向联邦学习中的所述成员方从区块链获取所述半激励参数，将所述半激励参数作为预设的激励模型的输入，获取所有所述成员方的激励参数。
[0011]在其中一些实施例中，所述半激励参数的计算方法包括：
[0012]每个所述成员方根据数据的预测值和真实值计算所述数据的损失值，其中，所述数据为根据所述发起方的需求获取的数据；
[0013]每个所述成员方根据所述损失值和预设函数，计算所述成员方的所述半激励参数。
[0014]在其中一些实施例中，在所述发起方具有数据、数据特征、子模型和总模型，所述发起方的需求为数据特征，且确定所述学习模式为分布式学习的情况下，所述方法包括：
[0015]所述发起方将所述纵向联邦学习的学习任务分为多个并行的分布式学习任务，并根据所述学习任务中的数据特征将所述分布式学习任务分配至多个训练成员方，所述训练成员方包括所述发起方和参与方；
[0016]根据所述总模型的函数特征，所述训练成员方之间通过安全多方计算获取所述总模型参数和特征半激励参数；
[0017]所述训练成员方中的参与方将所述总模型参数和特征半激励参数回传至所述发起方；
[0018]所述发起方根据所述总模型参数更新对应的子模型，并将所述子模型的训练结果上链；
[0019]所述发起方将所述特征半激励参数上链，进行特征激励参数计算的特征成员方从所述区块链中获取所述特征半激励参数，并将所述特征半激励参数作为输入，获取所有所述成员方的特征激励参数。
[0020]在其中一些实施例中，在所述发起方仅具有总模型，所述发起方的需求为数据特征，且确定所述学习模式为分布式学习的情况下，所述方法包括：
[0021]所述发起方将所述纵向联邦学习的学习任务分为多个并行的分布式学习任务，并根据所述学习任务中的数据特征将所述分布式学习任务分配至多个训练参与方；
[0022]根据所述总模型的函数特征，所述训练参与方之间通过安全多方计算获取所述总模型参数和特征半激励参数；
[0023]所述训练参与方将所述总模型参数回传至所述发起方，所述发起方根据所述总模型参数更新总模型，并将更新后的总模型参数上链；
[0024]所述训练参与方将所述特征半激励参数上链，进行激励参数计算的激励成员方从所述区块链中获取所述特征半激励参数，并将所述特征半激励参数作为输入，获取所有所述成员方的特征激励参数。
[0025]在其中一些实施例中，在所述发起方具有发起方数据、数据特征、子模型和总模型，所述发起方的需求为所述参与方的子模型，且确定所述学习模式为集成学习的情况下，所述方法包括：
[0026]所述发起方和所述参与方分别运行对应的子模型，得到对应的子模型的训练结果，并将所述子模型的训练结果上链；
[0027]多个训练成员方从所述区块链获取所述子模型的训练结果，所述训练成员方包括所述发起方和参与方；
[0028]所述训练成员方根据所述学习模式进行上层模型训练，获取所述总模型参数，并将所述总模型参数和计算得到的模型半激励参数共识上链；
[0029]进行激励计算的模型成员方从所述区块链中获取所述模型半激励参数，并将所述模型半激励参数作为输入，获取所有所述成员方的模型激励参数。
[0030]在其中一些实施例中，在所述发起方仅具有总模型的情况下，所述发起方的需求为所述参与方的子模型，且确定所述学习模式为集成学习的情况下，所述方法包括：
[0031]所述参与方分别运行对应的子模型，得到对应的子模型的训练结果，并将所述子
模型的训练结果上链；
[0032]多个训练成员方从所述区块链获取所述子模型的训练结果，所述训练成员方包括所述发起方和参与方；
[0033]所述训练成员方根据所述学习模式进行上层模型训练，获取所述总模型参数，并将所述总模型参数和计算得到的模型半激励参数共识上链；
[0034]进行激励计算的模型成员方从所述区块链中获取所述模型半激励参数，并将所述模型半激励参数作为输入，获取所有所述成员方的模型激励参数。
[0035]在其中一些实施例中，在所述发起方的需求为数据特征和子模型，且所述发起方具有发起方数据、数据特征、子模型和总模型的情况下，所述方法还包括：
[0036]所述发起方将所述纵向联邦学习的学习任务分为多个并行的分布式学习任务，并根据所述学习任务中的数据特征将所述分布式学习任务分配至所述发起方和特征参与方；
[0037]根据所述总模型的函数特征，所述发起方和所述特征参与方之间以及所述特征参与方之间，均通过安全多方计算获取所述总模型参数和特征半激励参数；
[0038]所述特征参与方将所述总模型参数和特征半激励参数回传至所述发起方；
[0039]所述发起方根据所述总模型参数更新对应的子模型，并将所述子模型的训练结果上链；
[0040]所述发起方将所述特征半本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种纵向联邦学习激励的训练方法，其特征在于，包括：纵向联邦学习中的发起方根据需求，确定所述纵向联邦学习的学习模式；所述纵向联邦学习中的成员方根据所述学习模式，获取所述纵向联邦学习的总模型参数，根据预设的半激励模型，获取半激励参数，其中，所述成员方包括所述纵向联邦学习中的发起方和参与方；根据所述学习模式，至少一个所述成员方将所述总模型参数和半激励参数上链；所述纵向联邦学习中的所述成员方从区块链获取所述半激励参数，将所述半激励参数作为预设的激励模型的输入，获取所有所述成员方的激励参数。2.根据权利要求1所述的纵向联邦学习激励的训练方法，其特征在于，所述半激励参数的计算方法包括：每个所述成员方根据数据的预测值和真实值计算所述数据的损失值，其中，所述数据为根据所述发起方的需求获取的数据；每个所述成员方根据所述损失值和预设函数，计算所述成员方的所述半激励参数。3.根据权利要求2所述的纵向联邦学习激励的训练方法，其特征在于，在所述发起方具有数据、数据特征、子模型和总模型，所述发起方的需求为数据特征，且确定所述学习模式为分布式学习的情况下，所述方法包括：所述发起方将所述纵向联邦学习的学习任务分为多个并行的分布式学习任务，并根据所述学习任务中的数据特征将所述分布式学习任务分配至多个训练成员方，所述训练成员方包括所述发起方和参与方；根据所述总模型的函数特征，所述训练成员方之间通过安全多方计算获取所述总模型参数和特征半激励参数；所述训练成员方中的参与方将所述总模型参数和特征半激励参数回传至所述发起方；所述发起方根据所述总模型参数更新对应的子模型，并将所述子模型的训练结果上链；所述发起方将所述特征半激励参数上链，进行特征激励参数计算的特征成员方从所述区块链中获取所述特征半激励参数，并将所述特征半激励参数作为输入，获取所有所述成员方的特征激励参数。4.根据权利要求2所述的纵向联邦学习激励的训练方法，其特征在于，在所述发起方仅具有总模型，所述发起方的需求为数据特征，且确定所述学习模式为分布式学习的情况下，所述方法包括：所述发起方将所述纵向联邦学习的学习任务分为多个并行的分布式学习任务，并根据所述学习任务中的数据特征将所述分布式学习任务分配至多个训练参与方；根据所述总模型的函数特征，所述训练参与方之间通过安全多方计算获取所述总模型参数和特征半激励参数；所述训练参与方将所述总模型参数回传至所述发起方，所述发起方根据所述总模型参数更新总模型，并将更新后的总模型参数上链；所述训练参与方将所述特征半激励参数上链，进行激励参数计算的激励成员方从所述区块链中获取所述特征半激励参数，并将所述特征半激励参数作为输入，获取所有所述成员方的特征激励参数。
5.根据权利要求2所述的纵向联邦学习激励的训练方法，其特征在于，在所述发起方具有发起方数据、数据特征、子模型和总模型，所述发起方的需求为所述参与方的子模型，且确定所述学习模式为集成学习的情况下，所述方法包括：所述发起方和所述参与方分别运行对应的子模型，得到对应的子模型的训练结果，并将所述子模型的训练结果上链；多个训练成员方从所述区块链获取所述子模型的训练结果，所述训练成员方包括所述发起方和参与方；所述训练成员方根据所述学习模式进行上层模型训练，获取所述总模型参数，并将所述总模型参数和计算得到的模型半激励参数共识上链；进行激励计算的模型成员方从所述区块链中获取所述模型半激励参数，并将所述模型半激励参数作为输入，获取所有所述成员方的模型激励参数。6.根据权利要求2所述的纵向联邦学习激励的训练方法，其特征在于，在所述发起方仅具有总模型的情况下，所述发起方的需求为所述参与方的子模型，且确定所述学习模式为集成学习的情况下，所述方法包括：所述参与方分别运行对应的子模型...

【专利技术属性】
技术研发人员：李伟，邱炜伟，蔡亮，汪小益，严杨，
申请(专利权)人：杭州趣链科技有限公司，
类型：发明
国别省市：