数据异构的联合学习方法及装置制造方法及图纸

本发明专利技术提供了一种数据异构的联合学习方法及装置。该方法包括：通过中心节点接收参与方上传的多个联合学习训练模型参数之间的多个差值；聚合参与方上传的多个联合学习训练模型参数之间的多个差值，以得到聚合的模型参数；将聚合后的模型参数下发给参与方后，得到参与方反馈的模型训练信息；根据模型训练信息，计算参与方上传的与模型训练信息对应的联合学习训练模型的数据隐私耗尽量；当参与方上传的联合学习训练模型的模型参数的训练量达到数据隐私耗尽量时，则将通知参与方完成本轮训练。本发明专利技术解决了现有技术中在数据异构的情况下无法准确的进行模型训练的问题。况下无法准确的进行模型训练的问题。况下无法准确的进行模型训练的问题。

【技术实现步骤摘要】
数据异构的联合学习方法及装置


[0001]本公开涉及人工智能
，尤其涉及一种数据异构的联合学习方法及装置。

技术介绍

[0002]联合学习是一种可以保护数据隐私的分布数据集的分布式学习范式。横向联合学习是适用于参与者的数据特征重叠较多，而样本ID重叠较少的情况。但是不同的参与联合学习的用户的数据数量和数据质量是不同的，并且存在很多带有噪音的数据，这种情况就会产生数据异构。而数据异构的情况在模型训练时是不可避免的存在。
[0003]目前现有技术往往通过预先对数据进预处理，即清洗数据或是直接带有噪声数据进行剔除，但这样会影响模型训练的精度和和训练结果的不稳定性。

技术实现思路

[0004]有鉴于此，本公开实施例提供了一种数据异构的联合学习方法及装置，以解决现有技术中在数据异构的情况下无法准确的进行模型训练的问题。
[0005]本公开实施例的第一方面，提供了一种数据异构的联合学习方法，包括：
[0006]中心节点接收参与方上传的多个联合学习训练模型参数之间的多个差值；
[0007]聚合参与方上传的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据异构的联合学习方法，其特征在于，包括：中心节点接收参与方上传的多个联合学习训练模型参数之间的多个差值；聚合参与方上传的多个联合学习训练模型参数之间的多个差值，以得到聚合的模型参数；将聚合后的模型参数下发给参与方后，得到参与方反馈的模型训练信息；根据所述模型训练信息，计算参与方上传的与所述模型训练信息对应的联合学习训练模型的数据隐私耗尽量；当参与方上传的所述联合学习训练模型的模型参数的训练量达到所述数据隐私耗尽量时，则将通知参与方完成本轮训练。2.根据权利要求1所述的方法，其特征在于，根据所述模型训练信息，计算参与方上传的与所述模型训练信息对应的联合学习训练模型的数据隐私耗尽量包括：根据参与方上传的模型训练信息，确定参与方所需要的数据需求量；利用所述数据需求量，设置数据隐私范围；基于所述数据隐私范围，为参与方上传的与所述模型训练信息对应的联合学习训练模型分配数据隐私预算；根据所述分配数据隐私预算，计算参与方上传的与所述模型训练信息对应的联合学习训练模型的数据隐私耗尽量。3.根据权利要求2所述的方法，其特征在于，利用所述数据需求量，设置数据隐私范围包括：利用所述数据需求量，计算数据泄露风险的风险值；根据所述风险值，设置数据隐私范围。4.根据权利要求2所述的方法，其特征在于，基于所述数据隐私范围，为参与方上传的与所述模型训练信息对应的联合学习训练模型分配数据隐私预算包括：确定参与方上传的联合学习训练模型当前训练状态；根据所述当前训练状态，计算所述联合学习训练模型每一轮训练的权重参数；判断所述权重参数是否在所述数据隐私范围内；如果在所述数据隐私范围内，则为参与方上传的与所述模型训练信息对应的联合学习训练模型分配数据隐私预算；如果不在所述数据隐私范围内，则通知参与方退出联合学习模型训练。5.根据权利要求3所述的方法，...

【专利技术属性】
技术研发人员：赵蕾，
申请(专利权)人：新智我来网络科技有限公司，
类型：发明
国别省市：